TL;DR:
O prompt analisado orienta detalhadamente a verificação completa de fatos em um artigo, estruturando a tarefa em etapas claras: extração dos fatos, pesquisa ampla e apresentação dos resultados em tabela. Embora tenha um design robusto e sequência lógica, apresenta limitações na dependência de pesquisa online e ambiguidade nos critérios de qualidade das fontes. Sugere-se aprimorar a definição do formato de saída e adequar instruções para contextos sem acesso à internet, aumentando a clareza e a padronização do processo.
Takeaways:
- O prompt divide a tarefa em etapas sequenciais que facilitam a execução e a organização da verificação.
- Requer pesquisas com pelo menos três fontes independentes e confiáveis para validar cada fato.
- A saída esperada é uma tabela com fatos, resultados e fontes, embora a estrutura exata dessa tabela não seja especificada.
- A dependência de web search pode limitar a aplicação do prompt em ambientes offline.
- Definições mais claras para critérios de qualidade das fontes e exemplos de formato da tabela ajudariam a padronizar as respostas.
—
Prompt:
I want you to fact check the article below in full. Leave no stone unturned. To do so, first, look at the text of the article and parse out each individual fact — after this, you should have a list of facts. Then, for each fact, do comprehensive research and use web search to determine whether it is true, false, or unclear. Aim for at least three independent, high quality and trustworthy sources for each fact.
Then, once you've done this for *every* fact, return a table with each fact and its corresponding results (including sources for each check).
[Enter article]
Source: shumerpromptPrompt:
I want you to fact check the article below in full. Leave no stone unturned. To do so, first, look at the text of the article and parse out each individual fact — after this, you should have a list of facts. Then, for each fact, do comprehensive research and use web search to determine whether it is true, false, or unclear. Aim for at least three independent, high quality and trustworthy sources for each fact.
Then, once you've done this for *every* fact, return a table with each fact and its corresponding results (including sources for each check).
[Enter article]
Source: shumerprompt
Análise Estrutural
O prompt original foi concebido com uma estrutura que organiza a tarefa em etapas sequenciais. A seguir, são destacados os elementos principais:
- Objetivo
O prompt define claramente a meta: realizar a verificação de fatos de um artigo. A instrução “I want you to fact check the article below in full. Leave no stone unturned.” evidencia a necessidade de examinar cada detalhe. - Contexto
Ao mencionar “[Enter article]” e “Source: shumerprompt”, o prompt delimita o conteúdo a ser analisado, deixando implícito que o artigo será inserido posteriormente. - Instruções Detalhadas
São dadas orientações para extrair fatos, realizar pesquisa completa e, posteriormente, apresentar os resultados em formato tabular. Termos como “parse out each individual fact”, “do comprehensive research” e “aim for at least three independent, high quality and trustworthy sources” exemplificam a divisão das tarefas. - Formato de Saída Esperado
O uso da expressão “return a table with each fact and its corresponding results” especifica que os resultados deverão ser agrupados em uma tabela, facilitando a leitura e a organização do output.
Objetividade e Clareza
A análise do prompt revela um alinhamento razoável entre objetivo e resultado esperado:
- Definição Precisa da Tarefa
O prompt apresenta de forma direta o que se espera do modelo, definindo claramente as etapas: extração dos fatos, verificação com fontes e formatação dos resultados. - Sequência Lógica de Etapas
O modelo é conduzido por uma cadeia lógica de ações. A clareza dos comandos, mesmo que complexos, facilita a compreensão da tarefa, apesar de exigir capacidades avançadas, como a realização de web search. - Possíveis Ambiguidades
Ainda que o objetivo esteja definido, a dependência de funções como “web search” pode gerar ambiguidade em ambientes onde essa funcionalidade não esteja disponível. Além disso, critérios como “independent, high quality and trustworthy sources” podem ser interpretados de formas distintas, dependendo do contexto e das definições pré-estabelecidas.
Boas Práticas de Engenharia de Prompts
O prompt analisado incorpora diversas estratégias recomendadas para a engenharia de prompts:
- Estrutura Modular e Sequencial
A tarefa é dividida em etapas (extração, pesquisa e formatação), permitindo uma execução mais organizada e facilitando a verificação de cada passo. - Orientações Específicas para o Formato de Saída
Ao pedir para “return a table”, o prompt define uma estrutura que pode ser padronizada, contribuindo para a consistência das respostas geradas. - Uso de Critérios de Qualidade
A exigência de “at least three independent, high quality and trustworthy sources” demonstra uma preocupação em elevar o nível de confiabilidade dos dados verificados. - Detalhamento das Instruções
A instrução sequencial reduz ambiguidades, guiando o modelo por meio do chain-of-thought para obter resultados organizados e alinhados ao objetivo.
Riscos e Melhorias Sugeridas
Apesar dos pontos positivos, alguns aspectos podem ser aprimorados:
- Dependência de Funcionalidades Externas
A necessidade de realizar “comprehensive research” e “web search” pode ser inviável em ambientes onde o modelo não tem acesso à internet. Uma sugestão seria adaptar as instruções para usar o conhecimento pré-existente ou informar limitações. - Ambiguidade em Critérios de Qualidade
Termos como “high quality” e “trustworthy sources” carecem de definições mensuráveis. Definir exemplos ou fornecer critérios mais específicos pode reduzir a margem de interpretação. - Detalhamento do Formato de Saída
Embora o prompt exija uma tabela, não há uma especificação quanto às colunas ou à formatação exata da mesma. Incluir um exemplo ou listar os cabeçalhos esperados (por exemplo: “Fato”, “Veredito (V/F/Indefinido)”, “Fonte 1”, “Fonte 2”, “Fonte 3”) pode padronizar melhor o output. - Possível Sobrecarga de Etapas
Dividir o processo em etapas muito detalhadas pode aumentar a complexidade, especialmente para modelos que não possuem todas as funcionalidades necessárias. Uma reformulação para permitir respostas parciais ou iterativas pode melhorar a performance geral.
Conclusão
A análise do prompt revela um design robusto, com uma estrutura sequencial clara e orientações detalhadas que ajudam na execução de uma tarefa complexa – a verificação de fatos. A divisão das etapas e o controle do formato de saída são pontos fortes que facilitam a compreensão do objetivo.
No entanto, melhorias podem ser implementadas para mitigar riscos, como a dependência de web search e a ambiguidade dos critérios de qualidade. Especificar melhor o formato da tabela e definir exemplos concretos auxiliará na padronização das respostas.
Em resumo, o prompt atende aos princípios fundamentais da engenharia de prompts, demonstrando uma boa prática ao organizar instruções de forma sequencial e específica. Com ajustes nos pontos de ambiguidade e na dependência de funcionalidades externas, este prompt possui um potencial significativo para a geração de outputs mais precisos e confiáveis, podendo ser adaptado para diversos cenários que demandem análise crítica e verificação de fatos.