TL;DR: Um estudo de 2024 testou 162 personas diferentes em modelos de IA e descobriu que role prompting não melhora o desempenho em tarefas objetivas, podendo até prejudicá-lo. O estudo avaliou apenas perguntas factuais do benchmark MMLU, não tarefas criativas onde personas podem ser valiosas. A chave é usar role prompting estrategicamente: dispensar para perguntas objetivas e manter para outputs criativos e interpretativos.
Takeaways:
- Role prompting é desnecessário e pode prejudicar o desempenho em tarefas factuais objetivas
- Para perguntas diretas com respostas únicas, seja objetivo e economize tokens eliminando personas
- Role prompting ainda pode ser valioso para tarefas criativas, empáticas e interpretativas que exigem estilo específico
- A estratégia ideal é adaptar o uso de personas ao tipo de tarefa: objetiva vs. criativa
- O estudo fornece base científica para otimizar prompts e melhorar eficiência no uso de IA
Role Prompting em IA: O Estudo que Mudou Tudo sobre Personas em Modelos de Linguagem
Você já se perguntou se aqueles prompts elaborados como “Você é um especialista em marketing com 20 anos de experiência” realmente fazem diferença?
Um estudo revolucionário de 2024 testou exatamente isso e os resultados podem surpreender você. Spoiler: talvez você esteja perdendo tempo com personas quando não deveria.
Se você usa inteligência artificial no seu trabalho, este artigo vai transformar a forma como você cria prompts. Vamos mergulhar nos dados científicos que mostram quando o role prompting funciona e quando é completamente desnecessário.
O Que o Estudo de Zheng et al. Descobriu sobre Role Prompting
O artigo “When ‘A Helpful Assistant’ Is Not Really Helpful” investigou uma prática que todos nós fazemos: pedir para a IA assumir um papel específico.
Sabe aqueles prompts como:
- “Você é um copywriter com 20 anos de experiência…”
- “Você está conversando com um médico especialista…”
- “Atue como um consultor de negócios…”
A pergunta central era simples: isso realmente melhora as respostas dos modelos de linguagem?
A resposta curta é “não necessariamente” — mas as nuances são fascinantes e vão mudar como você usa IA daqui para frente.
O estudo questionou uma crença amplamente aceita na comunidade de usuários de IA. Afinal, intuitivamente faz sentido que dar um contexto específico melhoraria as respostas, certo?
Como Foi Conduzido Este Experimento Revolucionário
Os pesquisadores não fizeram um teste superficial. Eles conduziram um experimento em larga escala que impressiona pela metodologia rigorosa.
Aqui estão os números que validam a pesquisa:
- 162 personas diferentes (profissões, relações sociais, especialidades)
- 2 tipos de prompts com persona:
- Speaker-specific: “Você é um [papel]”
- Audience-specific: “Você está falando com um [papel]”
- 4 famílias de modelos de linguagem open-source
- 2.410 perguntas objetivas extraídas do MMLU
- Grupo de controle sem nenhuma persona para comparação
A diversidade de personas testadas incluiu desde profissões técnicas até papéis sociais específicos. O objetivo era garantir que os resultados fossem generalizáveis, não específicos de alguns tipos de persona.
A comparação com o grupo de controle foi fundamental. Sem essa baseline, seria impossível determinar se as personas realmente faziam diferença ou se era apenas nossa percepção.
MMLU: O Benchmark que Define Padrões para IA
Para entender o estudo, você precisa conhecer o MMLU (Massive Multitask Language Understanding). Este é um dos benchmarks mais respeitados para avaliar inteligência artificial.
O MMLU contém milhares de perguntas objetivas de múltipla escolha, cobrindo 26 disciplinas diferentes:
- Direito e Medicina
- Economia e Física
- Computação e Psicologia
- Política e Matemática
- E muito mais
Exemplos típicos do MMLU incluem:
“Qual é a capital da Finlândia?”
“Qual a função da mitocôndria?”
“Quem escreveu O Contrato Social?”
Essas são perguntas com respostas corretas únicas e objetivas. Não há espaço para interpretação ou criatividade — ou você sabe a resposta factual ou não sabe.
O MMLU é considerado padrão-ouro porque elimina subjetividade. Quando um modelo acerta 85% das perguntas, sabemos exatamente o que isso significa em termos de conhecimento factual.
Resultados Surpreendentes: Role Prompting Não Melhorou o Desempenho
Aqui está o que chocou a comunidade de IA:
Role prompting não melhorou o desempenho geral em tarefas objetivas. Na verdade, inserir personas como “Você é um engenheiro” não aumentou a acurácia das respostas.
Pior ainda: em alguns casos, o role prompting reduziu o desempenho dos modelos.
Isso foi observado consistentemente em vários modelos populares:
- Llama 3
- Qwen 2.5
- Mistral
- FLAN-T5
Os pesquisadores analisaram fatores como gênero, domínio, alinhamento semântico e perplexidade, mas nenhum explicou claramente a variação de desempenho.
O mais intrigante: o efeito das personas parecia ser completamente aleatório. Mesmo estratégias automáticas para escolher o “melhor papel” falharam, frequentemente performando no nível do acaso.
Imagine descobrir que algo que você faz religiosamente pode estar sabotando seus resultados. Foi exatamente isso que o estudo revelou.
Por Que Role Prompting Não É Completamente Inútil
Antes de você descartar completamente o role prompting, aqui está o detalhe crucial: este estudo avaliou apenas tarefas objetivas com respostas únicas.
Ele não testou tarefas criativas, interpretativas ou abertas, como:
- Escrita publicitária (copywriting)
- Criação de histórias e conteúdo narrativo
- Coaching e mentoria personalizada
- Atendimento ao cliente empático
- Simulação de diálogos humanos realistas
- Suporte técnico com estilo especializado
- Análises subjetivas (“o que você acha de…”)
Nesses contextos, a persona pode ser fundamental para ajustar:
- Estilo de resposta e tom de voz
- Estrutura argumentativa
- Nível de formalidade
- Empatia e conexão emocional
É a diferença entre perguntar “Qual a capital do Brasil?” e pedir “Escreva um email de vendas persuasivo para executivos de tecnologia”.
A Diferença Fundamental: Tarefas Objetivas vs. Criativas
O estudo nos ensina uma lição valiosa sobre quando usar role prompting efetivamente.
Para tarefas objetivas e factuais:
- Role prompting é desnecessário
- Pode até prejudicar o desempenho
- Seja direto e objetivo
- Economize tokens e tempo
Para tarefas criativas e interpretativas:
- Role prompting pode ser valioso
- Ajuda a definir estilo e contexto
- Melhora a adequação da resposta
- Funciona como direção para um ator
Pense no role prompting como dar direção a um ator. Para recitar fatos históricos, o ator não precisa de direção especial. Mas para interpretar um personagem complexo, a direção faz toda a diferença.
A chave está em reconhecer que tipo de tarefa você está solicitando à IA.
Como Aplicar Esse Conhecimento na Prática
Agora que você entende a ciência por trás do role prompting, aqui está como otimizar seu uso de IA:
Para perguntas factuais, seja direto:
❌ "Como um especialista em geografia, me diga qual é a capital da França."
✅ "Qual é a capital da França?"
Para outputs criativos, use role prompting estrategicamente:
✅ "Como um copywriter especializado em e-commerce, escreva um email de carrinho abandonado que seja empático mas persuasivo."
Para análises complexas, combine abordagens:
✅ "Analise os dados de vendas do último trimestre." (objetivo)
Seguido de: "Como um consultor de negócios, que estratégias você recomendaria?" (interpretativo)
O segredo está em adaptar sua estratégia ao tipo de tarefa. Não use personas por hábito — use quando realmente agregar valor.
O Futuro do Role Prompting em IA
Este estudo abre portas para pesquisas mais específicas sobre role prompting em tarefas criativas. Precisamos de mais dados sobre quando e como as personas realmente fazem diferença.
As implicações são enormes para:
- Desenvolvedores de IA que criam interfaces de usuário
- Profissionais de marketing que dependem de conteúdo gerado por IA
- Educadores que ensinam prompt engineering
- Empresas que implementam IA em seus processos
A tendência é que vejamos ferramentas mais inteligentes que automaticamente decidem quando aplicar role prompting baseado no tipo de tarefa.
Também podemos esperar modelos futuros que sejam treinados especificamente para responder melhor a diferentes tipos de personas em contextos apropriados.
Transforme Sua Forma de Usar IA Hoje Mesmo
O estudo de Zheng et al. não é apenas teoria acadêmica — é conhecimento prático que pode melhorar imediatamente seus resultados com IA.
Principais takeaways para implementar agora:
- Elimine personas desnecessárias em perguntas factuais
- Mantenha role prompting para tarefas criativas e empáticas
- Teste diferentes abordagens e meça os resultados
- Economize tokens sendo mais eficiente com prompts objetivos
A próxima vez que você for criar um prompt, pergunte-se: “Esta é uma tarefa objetiva ou criativa?” Sua resposta determinará se você deve usar role prompting ou não.
Quer dominar completamente o uso estratégico de IA? Comece aplicando essas descobertas hoje mesmo e observe como sua eficiência com modelos de linguagem dispara.
O futuro pertence a quem usa IA de forma inteligente e baseada em evidências. Agora você tem o conhecimento científico para estar à frente da curva.
Fonte: Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. “When ‘A Helpful Assistant’ Is Not Really Helpful: Personas in System Prompts Do Not Improve Performances of Large Language Models”. Findings of the Association for Computational Linguistics: EMNLP 2024. Disponível em: https://aclanthology.org/2024.findings-emnlp.888/