TL;DR: Um estudo de 2024 da Universidade de Michigan revelou que adicionar personas a prompts de LLMs não melhora o desempenho em tarefas objetivas, contrariando a crença popular. A pesquisa testou 162 personas diferentes em 2.410 perguntas factuais e descobriu que os efeitos são aleatórios e inconsistentes. Para perguntas objetivas, prompts diretos são mais eficazes que role prompting.
Takeaways:
- Personas não melhoram respostas factuais de LLMs e podem até piorar o desempenho levemente
- Não existe uma persona “universal” que funcione consistentemente para tarefas objetivas
- Algoritmos automáticos para selecionar a melhor persona não superam a escolha aleatória
- Role prompting ainda tem valor para tarefas criativas, estilo de linguagem e interações empáticas
- Para perguntas factuais, simplicidade e objetividade superam estratégias complexas de prompting
Personas em Prompts de LLMs: Por Que o Role Prompting Pode Estar Prejudicando Seus Resultados
Você já se perguntou se adicionar uma persona ao seu prompt realmente melhora as respostas da inteligência artificial? A resposta pode surpreender você.
Um estudo revolucionário de 2024 quebrou um dos mitos mais persistentes no mundo dos grandes modelos de linguagem: a crença de que definir papéis específicos em prompts sempre melhora o desempenho. A realidade é muito mais complexa e contraintuitiva do que imaginávamos.
Se você trabalha com IA, desenvolve sistemas baseados em LLMs ou simplesmente quer otimizar seus prompts, este artigo vai transformar sua abordagem. Vamos mergulhar nos dados que mostram quando o role prompting funciona, quando falha e como você pode aplicar esses insights na prática.
A Descoberta Que Mudou Tudo: Personas Não Melhoram Tarefas Objetivas
O Que o Estudo Revelou
Pesquisadores da Universidade de Michigan conduziram uma análise sistemática avaliando como personas inseridas em prompts afetam o desempenho de grandes modelos de linguagem em tarefas objetivas. O resultado foi surpreendente:
“Adicionar personas não melhora o desempenho geral dos LLMs. Comparando com o cenário de controle (sem persona), os resultados mostram que, em média, os modelos não se saem melhor ao receber uma persona no prompt. Em muitos casos, o desempenho até piora levemente.”
Por Que Isso Importa
Esta descoberta desafia uma prática amplamente adotada na comunidade de IA. Muitos desenvolvedores e usuários acreditavam que prompts como “Você é um especialista em…” automaticamente produziam melhores resultados.
A pesquisa demonstrou que:
- O ganho de desempenho ao usar personas é inconsistente e imprevisível
- Não existe uma persona “universal” que melhore os resultados de maneira consistente
- As variações no desempenho parecem aleatórias, sem uma explicação simples
Metodologia Robusta: Como o Estudo Foi Conduzido
Dataset e Escopo da Pesquisa
O estudo utilizou uma metodologia rigorosa para garantir resultados confiáveis:
Dataset MMLU (Massive Multitask Language Understanding):
- 2.410 perguntas de múltipla escolha
- 26 disciplinas organizadas em 8 domínios principais
- Cobertura ampla: Direito, Medicina, Ciência da Computação, Matemática, Política, Psicologia, Ciências Naturais e Economia
Personas Testadas
Os pesquisadores avaliaram 162 personas diferentes, divididas em:
Relações interpessoais:
- Pai, mãe, namorado, colega, professor, amigo
Papéis ocupacionais:
- Advogado, médico, psicólogo, cientista de dados
Tipos de Prompts Avaliados
Três condições foram testadas sistematicamente:
Sem persona (controle):
"Onde fica a capital dos Estados Unidos?"
Persona como falante:
"Você é um advogado. Onde fica a capital dos Estados Unidos?"
Persona como ouvinte:
"Você está falando com um advogado. Onde fica a capital dos Estados Unidos?"
Modelos Testados
O estudo avaliou 9 modelos de 4 famílias open-source:
- FLAN-T5-XXL (11B)
- Llama3-Instruct (8B e 70B)
- Mistral-Instruct (7B)
- Qwen2.5-Instruct (3B a 72B)
Achados Específicos: Quando Algumas Personas Funcionam Melhor
Embora o efeito geral seja insignificante, o estudo identificou algumas tendências interessantes:
Características de Personas Mais Eficazes
Gênero neutro supera papéis gendered:
- Papéis neutros em gênero têm desempenho levemente superior a papéis masculinos ou femininos
Contexto profissional vs. pessoal:
- Personas relacionadas a trabalho e escola tendem a performar melhor que papéis sociais, familiares ou românticos
Alinhamento com domínio:
- Quando há correspondência entre a persona e o domínio da pergunta (ex: engenheiro de software respondendo sobre ciência da computação), o desempenho melhora marginalmente
A Realidade dos Efeitos
É importante destacar que esses efeitos são:
- Pequenos e marginais
- Inconsistentes entre diferentes modelos
- Não significativos o suficiente para justificar estratégias complexas de seleção de personas
Tentativas de Automação: Por Que Algoritmos Não Conseguem Prever a Melhor Persona
Estratégias Testadas
Os pesquisadores tentaram desenvolver métodos automáticos para selecionar a melhor persona:
Abordagens avaliadas:
- Escolha aleatória (baseline)
- Persona semanticamente mais próxima da pergunta
- Classificadores baseados em RoBERTa
- Melhor persona ideal hipotética
Resultado Frustrante
“Nenhuma estratégia automatizada superou o acaso exceto em casos específicos.”
Esta descoberta tem implicações profundas: não vale a pena investir em algoritmos complexos para descobrir a “melhor persona”, dada a aleatoriedade dos efeitos observados.
Implicações Práticas: Como Aplicar Esses Insights
Para Desenvolvedores de Sistemas com LLMs
Reavaliar estratégias atuais:
- Questione a eficácia de usar personas em prompts para melhorar acurácia em tarefas objetivas
- Considere outras abordagens para otimização de desempenho
Focar em outros benefícios:
- Personalizações baseadas em personas podem ser úteis para estilo de linguagem
- Considere aspectos de segurança e alinhamento, não apenas acurácia
Para Usuários Finais
Tarefas objetivas:
- Seja direto em perguntas factuais
- Evite adicionar personas desnecessárias
Exemplo prático:
❌ "Você é um especialista em geografia. Qual é a capital do Brasil?"
✅ "Qual é a capital do Brasil?"
Quando Role Prompting Ainda Faz Sentido
Tarefas Criativas e Interpretativas
Embora o estudo tenha focado em tarefas objetivas, o role prompting ainda tem valor em:
Aplicações criativas:
- Copywriting
- Storytelling
- Criação de conteúdo
Interações empáticas:
- Coaching
- Atendimento ao cliente
- Simulação de diálogos
Como Usar Role Prompting Efetivamente
Para tarefas criativas, pense no role prompting como uma forma de “predefinir o comportamento” da IA:
Para análise criativa:
"Você é um crítico literário experiente. Analise este poema considerando..."
Para atendimento empático:
"Você é um conselheiro compreensivo. Como você responderia a alguém que..."
Limitações do Estudo e Direções Futuras
O Que Não Foi Testado
É importante reconhecer que o estudo:
- Focou apenas em tarefas objetivas com respostas únicas
- Não avaliou tarefas criativas, interpretativas ou abertas
- Utilizou apenas modelos open-source
Áreas para Pesquisa Futura
Questões em aberto:
- Como personas afetam tarefas criativas?
- Qual o impacto em modelos proprietários como GPT-4?
- Como diferentes culturas respondem a personas específicas?
Conclusão: Repensando Nossas Estratégias de Prompting
Este estudo revoluciona nossa compreensão sobre o uso de personas em prompts. A principal lição é clara: para tarefas objetivas, simplicidade vence complexidade.
Principais Takeaways
Para perguntas factuais:
- Não perca tempo com personas
- Seja direto e objetivo
- Foque em clareza, não em papéis
Para outputs criativos:
- Use role prompting como ferramenta de estilo
- Pense na persona como direção artística
- Experimente diferentes abordagens
Próximos Passos
Se você trabalha com IA, considere:
- Auditar seus prompts atuais – Identifique onde personas são realmente necessárias
- Testar abordagens diretas – Compare resultados com e sem personas em tarefas objetivas
- Reservar role prompting para criatividade – Use personas onde elas realmente agregam valor
A pesquisa em IA continua nos surpreendendo, desafiando suposições e refinando nossas práticas. Este estudo nos lembra que, no mundo da inteligência artificial, nem sempre mais complexidade significa melhores resultados.
O que você descobriu sobre o uso de personas em seus próprios prompts? Compartilhe sua experiência e ajude a construir um entendimento mais profundo sobre essas ferramentas fascinantes.
Fonte: Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). “When ‘A Helpful Assistant’ Is Not Really Helpful: Personas in System Prompts Do Not Improve Performances of Large Language Models”. Disponível em: https://arxiv.org/abs/2311.10054