TL;DR: As alucinações em modelos de linguagem grandes (LLMs) ocorrem devido a três causas principais: consultas mal formuladas, informações incompletas e colisões de frases substantivas, sendo esta última a mais frequente e menos compreendida. O artigo apresenta uma abordagem sistemática chamada ABC (Avoid, Bypass, Correct) para eliminar completamente as alucinações e alcançar IA 100% precisa.

Takeaways:

• Colisões de frases substantivas ocorrem quando duas frases se referem a entidades diferentes mas possuem alta similaridade vetorial no espaço semântico do modelo, resultando em confusões como no “Debacle de Afonso”.
• Os ajustes finos tradicionais não resolvem completamente o problema de alucinações, pois apenas corrigem consultas específicas sem abordar a causa raiz.
• A abordagem ABC combina estratégias para evitar, desviar e corrigir erros, utilizando Fatos Formatados (FFs) para estruturar informações de forma a minimizar colisões.
• Certas categorias de informação como datas, números de peças, IDs e nomes similares são particularmente propensas a altas taxas de alucinação devido às colisões de tokens.

Como Eliminar Alucinações em Modelos de Linguagem Grandes: O Guia Definitivo para IA 100% Precisa

Você já recebeu uma resposta absurda de um chatbot? Aquela informação completamente inventada que parece convincente, mas é pura fantasia? Esse fenômeno tem nome: alucinação. E não é apenas um inconveniente – é o maior obstáculo para a adoção confiável de IA em aplicações críticas.

Neste artigo, vou revelar a verdadeira causa das alucinações em modelos de linguagem grandes (LLMs) e, mais importante, compartilhar três métodos comprovados para eliminá-las completamente. Se você depende de IA para decisões importantes ou desenvolve soluções baseadas em LLMs, esta leitura é essencial.

O Que São Realmente as Alucinações em LLMs?

Uma alucinação ocorre quando um modelo de linguagem gera informações que contradizem seus dados de treinamento ou a realidade objetiva. Em termos simples: o modelo está inventando coisas.

Para os propósitos deste artigo, definiremos alucinação como qualquer informação gerada que contradiz ou não é suportada pela fonte de conhecimento fornecida. A “taxa de alucinação” refere-se ao grau em que a resposta não é fiel à informação disponível.

Por exemplo, se uma LLM baseada exclusivamente no site da “Sociedade da Terra Plana” afirma que a Terra é plana, isso não é uma alucinação – é fidelidade à fonte. Nosso foco aqui é garantir que os modelos respondam fielmente com base nas informações que possuem, independentemente da veracidade absoluta dessas informações.

As Três Causas Fundamentais das Alucinações

Após análise extensa, identifiquei três razões principais para as alucinações em LLMs:

1. Consultas Mal Formuladas

Consultas mal escritas impedem respostas precisas. Isso inclui:

• Consultas excessivamente complexas
• Erros ortográficos
• Estruturas gramaticalmente incorretas
• Perguntas ambíguas

Por exemplo, a pergunta “Minha tia mora em um bairro perigoso?” é impossível de responder sem o endereço da tia – uma informação ausente da consulta.

A solução? Rejeitar ou reformular consultas problemáticas antes de processá-las, garantindo que apenas perguntas bem estruturadas sejam respondidas.

2. Informações Incompletas

Quando um LLM não possui informações completas sobre um tópico, frequentemente “preenche as lacunas” com dados fabricados.

Considere uma implementação RAG (Retrieval-Augmented Generation) que envia apenas parte de uma receita ao modelo. O LLM provavelmente inventará os passos faltantes, resultando em instruções incorretas ou até perigosas.

A solução aqui é garantir que a implementação RAG forneça informações completas e relevantes para cada consulta.

3. Colisões de Frases Substantivas

Esta é a causa mais comum e menos compreendida das alucinações. Mesmo com consultas bem formuladas e informações completas, os LLMs frequentemente fornecem respostas incorretas devido a este fenômeno.

Colisões de Frases Substantivas: O Vilão Oculto

Uma colisão de frases substantivas ocorre quando duas frases se referem a entidades diferentes, mas possuem alta similaridade vetorial no espaço semântico do modelo.

Descobri que os LLMs podem – e frequentemente o fazem – alucinar mesmo quando foram treinados com informações corretas. Após rastrear a causa fundamental de centenas dessas alucinações, o culpado foi sempre o mesmo: colisões de frases substantivas.

Veja este exemplo real do GPT-4:

Prompt: Com base nas seguintes passagens, me fale sobre Afonso?

• Passagem 1: O cabelo de Afonso é loiro.
• Passagem 2: Alfonso é casado com Gwen.

Resposta: As passagens informam que Afonso tem cabelo loiro e é casado com uma mulher chamada Gwen.

Isso é uma alucinação clara. A passagem 2 afirma que Alfonso (não Afonso) é casado com Gwen. O modelo confundiu duas entidades diferentes devido à alta similaridade entre seus nomes.

Durante o pré-treinamento, os LLMs se auto-organizam em torno de frases substantivas. Essa organização interna explica por que as colisões de frases substantivas são a causa raiz de todas as alucinações onde o modelo foi treinado com informações corretas.

O Caso do “Debacle de Afonso”

Este caso ilustra perfeitamente como as alucinações persistem mesmo após tentativas de correção.

Prompt: Quem foi a mãe de Afonso II, o terceiro rei de Portugal?

O ChatGPT-4 originalmente forneceu a resposta errada — Urraca de Castela. Posteriormente, a OpenAI realizou ajustes finos no modelo para fornecer a resposta correta — Dulce de Aragão.

No entanto, o problema persistiu. Quando perguntado sobre “Alfonso II” (com um “l” adicional), o modelo voltou a alucinar! Isso revela que os ajustes finos apenas “corrigem” a consulta original exata, não resolvendo o problema subjacente.

O ChatGPT-4 ainda trata “Alfonso” e “Afonso” como sendo a mesma entidade, exceto nos casos específicos onde foi explicitamente ajustado para se comportar de outra forma.

O Segredo por Trás do Debacle de Afonso

Por que o modelo escolheu consistentemente a mãe de Alfonso VII em vez da mãe de Afonso II? A resposta está na proximidade das palavras.

Na página web sobre Alfonso VII, a declaração “A mãe de Alfonso era Urraca” apresenta as palavras “mãe” e “Alfonso” próximas uma da outra. Em contraste, na página sobre Afonso II, a informação sobre sua mãe estava mais distante da menção ao seu nome.

O LLM dá preferência a informações onde há proximidade entre a frase substantiva na consulta (“mãe de Afonso II”) e a frase substantiva na fonte (“mãe” próxima de “Alfonso”).

Entendendo os Tokens e a Similaridade Vetorial

Para compreender completamente as colisões de frases substantivas, precisamos entender como os LLMs processam texto.

Os LLMs não operam com palavras, mas com tokens numéricos. Por exemplo, o GPT-4o converte “Chuck” em um único token, enquanto “Bartholomew” é convertido em quatro tokens distintos.

Colisões de frases substantivas ocorrem quando:

• Duas frases inteiras têm alta similaridade vetorial
• Um subconjunto de tokens numéricos é similar entre frases diferentes

Certas categorias de informação são particularmente propensas a altas taxas de alucinação devido a colisões de tokens:

• Datas
• Números de peças
• IDs PubMed
• Nomes similares

Os ABCs da Eliminação de Alucinações

Dado que as colisões de frases substantivas são inerentes aos LLMs e não podem ser completamente eliminadas através de ajustes finos (devido ao “esquecimento catastrófico”), precisamos de uma abordagem sistemática.

A implementação RAG tradicional também falha em eliminar completamente as alucinações porque:

1. Os recuperadores são imprecisos
2. Os LLMs ainda podem alucinar devido a colisões de frases substantivas

Para criar um sistema 100% preciso, introduzo os ABCs da eliminação de alucinações:

A – Avoid (Evitar)

Evitar rotas de colisão de frases substantivas durante tarefas generativas do LLM.

B – Bypass (Desviar)

Desviar completamente de tarefas generativas do LLM, convertendo-as em tarefas não generativas.

C – Correct (Corrigir)

Corrigir erros causados pelas colisões de frases substantivas.

Estes métodos dependem de dois conceitos fundamentais:

• Fatos Formatados (FFs): Declarações simples e autocontidas que expressam uma única informação.
• Fatos Totalmente Formatados (FFFs): Coleções de FFs desprovidos de colisões de frases nominais, onde todas as frases nominais semanticamente semelhantes se referem à mesma entidade.

Rumo à IA 100% Precisa

A chave para eliminar completamente as alucinações está na combinação estratégica dos métodos ABC com Fatos Formatados. Esta abordagem permite:

1. Estruturar informações de forma a evitar colisões de frases substantivas
2. Converter tarefas generativas em não generativas quando apropriado
3. Implementar um sistema de RAG reverso com FFs para corrigir erros quando necessário

Nos próximos artigos desta série, detalharei cada um desses métodos e demonstrarei empiricamente como atingir IA 100% precisa – algo que as principais empresas de IA ainda não conseguiram alcançar consistentemente.

Conclusão: O Futuro da IA Confiável Está Aqui

As alucinações não são um problema sem solução. Ao compreender suas verdadeiras causas e implementar os métodos ABC, podemos finalmente criar sistemas de IA totalmente confiáveis.

Não se trata apenas de melhorar a precisão em alguns pontos percentuais – estamos falando de uma mudança paradigmática para IA 100% precisa e confiável. Isso abrirá portas para aplicações críticas onde a margem de erro deve ser zero: medicina, finanças, direito e muito mais.

A era da IA verdadeiramente confiável está começando, e os métodos descritos neste artigo são o caminho para essa realidade.

Fonte: Wood, Michael C. e Forbes, Adam A. “100% Hallucination Elimination Using Acurai”. Disponível em: https://arxiv.org/abs/2412.05223.