Hugging Face Contesta Previsões da Anthropic sobre AGI: Inovação Científica Requer Mais que Bons Alunos

Thomas Wolf, co-fundador da Hugging Face, contestou recentemente as previsões otimistas de Dario Amodei, CEO da Anthropic, sobre a chegada da Inteligência Geral Artificial (AGI) até 2027. Segundo Wolf, embora os Grandes Modelos de Linguagem (LLMs) possam auxiliar em tarefas práticas nos próximos anos, a capacidade de realizar descobertas científicas significativas ainda está distante. A crítica central destaca que os modelos atuais são excelentes em encontrar respostas, mas falham em formular novas perguntas – habilidade essencial para o avanço científico.

Críticas às Previsões Otimistas da Anthropic

Dario Amodei previu um cenário onde teríamos “um país de Einsteins em um data center” capaz de comprimir todas as descobertas científicas do século 21 em apenas 5 a 10 anos. Wolf rebate essa visão, argumentando que, seguindo as tendências atuais, o resultado seria mais próximo de “um país de yes-men em servidores” – sistemas que reproduzem conhecimento sem questioná-lo.

Os LLMs atuais demonstram grande capacidade para encontrar respostas dentro do conhecimento existente, mas carecem da habilidade fundamental de formular novas perguntas que desafiem o status quo. Esta limitação é crucial, pois a verdadeira inovação científica requer questionar o conhecimento estabelecido, não apenas reproduzi-lo com precisão.

Os benchmarks utilizados para avaliar modelos de IA atualmente recompensam a conformidade e a precisão em reproduzir conhecimento, não a originalidade ou a capacidade de questionar premissas. Isso cria um ciclo onde os modelos são cada vez melhores em dar respostas corretas para perguntas conhecidas, mas não em identificar lacunas no conhecimento ou propor novas teorias.

A Falácia do “Aluno A+” na Ciência

Wolf utiliza sua própria experiência como exemplo: apesar de ter sido sempre um aluno exemplar, ele descobriu ser um pesquisador mediano quando precisou gerar conhecimento original. Esta distinção entre excelência acadêmica e capacidade de inovação é fundamental para entender as limitações dos modelos atuais.

A história da ciência está repleta de exemplos que reforçam este ponto. Edison foi chamado de “confuso” por seu professor; Barbara McClintock foi criticada por seu “pensamento estranho” antes de ganhar um Prêmio Nobel; e mesmo Einstein falhou em sua primeira tentativa no exame de admissão da ETH Zurich. Estes casos demonstram que a capacidade de questionar o conhecimento estabelecido frequentemente não se alinha com o sucesso em sistemas educacionais tradicionais.

A extrapolação linear de um “aluno top-10%” não resulta automaticamente em um gênio científico. Os verdadeiros inovadores frequentemente se destacam não por dominar perfeitamente o conhecimento existente, mas por sua capacidade de identificar suas falhas e propor alternativas radicais que outros não consideraram.

O Cerne da Inovação Científica

Os avanços científicos transformadores ocorrem quando alguém desafia fundamentalmente o conhecimento aceito. Copérnico revolucionou a astronomia ao propor que a Terra orbitava o Sol, contrariando todo o conhecimento estabelecido de sua época. Einstein desafiou o senso comum ao postular a constância da velocidade da luz, independentemente do referencial.

A descoberta da aplicação do CRISPR para edição genética representa outro exemplo perfeito: cientistas identificaram um potencial completamente novo para um sistema imunológico bacteriano, transformando-o em uma ferramenta revolucionária para modificação genética. Este tipo de salto conceitual define o progresso científico verdadeiro.

Avanços científicos significativos são raros – apenas um ou dois por ano são responsáveis pela maior parte do progresso científico global. Estes avanços frequentemente recebem reconhecimento, como o Prêmio Nobel, somente após seu impacto transformador ser amplamente reconhecido pela comunidade científica.

Limitações dos Benchmarks Atuais para IA

Os benchmarks atuais para avaliar modelos de IA, como “Humanity’s Last Exam” e “Frontier Math”, testam essencialmente a capacidade dos modelos de encontrar respostas corretas para perguntas já conhecidas. Contudo, este paradigma falha em capturar a essência da descoberta científica.

A pesquisa científica genuína assemelha-se mais à busca pela pergunta correta para a resposta “42” mencionada por Douglas Adams em “O Guia do Mochileiro das Galáxias” – é sobre formular as perguntas certas, não apenas fornecer respostas. Os LLMs atuais estão preenchendo lacunas no conhecimento existente, não gerando conhecimento fundamentalmente novo.

Os modelos são avaliados como se fossem estudantes fazendo exames, onde o objetivo é encontrar a resposta correta para perguntas cujas respostas já conhecemos. Esta abordagem não incentiva a capacidade de questionar ou propor hipóteses contraintuitivas, que são a verdadeira base da inovação científica.

Novos Caminhos para Benchmarks de IA Científica

Para promover a inovação científica na IA, precisamos desenvolver benchmarks que incentivem os modelos a questionar seu próprio conhecimento de treinamento. Isso inclui recompensar abordagens contrafactuais ousadas e a capacidade de fazer propostas gerais baseadas em pequenas dicas.

É fundamental priorizar a capacidade dos modelos de formular perguntas não óbvias que abram novos caminhos de pesquisa. Um modelo que questiona o que outros deixaram passar – mesmo que isso resulte em algumas respostas incorretas – pode ser mais valioso para o avanço científico do que um modelo perfeito em reproduzir conhecimento existente.

Uma abordagem promissora seria avaliar modelos em descobertas científicas recentes que eles não deveriam conhecer, observando se conseguem fazer as perguntas certas que levariam a essas descobertas sem exposição prévia ao resultado. Esta metodologia poderia ajudar a identificar modelos com potencial para verdadeira inovação.

O Desafio de Incentivar a Dúvida em IA

Os modelos atuais são treinados para maximizar a precisão e minimizar a incerteza, o que contradiz o espírito de investigação científica. A verdadeira ciência prospera na dúvida sistemática e no questionamento constante das premissas estabelecidas.

Para desbloquear o potencial da IA na descoberta científica, precisamos mudar fundamentalmente nossa abordagem de treinamento e avaliação. Os modelos devem ser incentivados a questionar seu próprio conhecimento e desafiar as premissas estabelecidas, mesmo quando isso parece contraintuitivo.

Os LLMs estão atualmente “preenchendo a variedade” do conhecimento existente, refinando e organizando o que já sabemos. Para avançar além disso, precisamos desenvolver sistemas que possam identificar contradições, propor explicações alternativas e, crucialmente, formular perguntas que ninguém pensou em fazer antes.

Construindo um Benchmark para a Inovação

Criar um benchmark eficaz para avaliar a capacidade de inovação científica em modelos de IA representa um desafio significativo. O problema fundamental é testar algo que, por definição, ainda não conhecemos – a capacidade de fazer descobertas originais.

Uma possível abordagem seria avaliar a capacidade dos modelos de fazer as perguntas certas sobre tópicos recentes ou emergentes, sem acesso prévio às respostas. Isso simularia o processo de descoberta científica, onde o questionamento precede o conhecimento.

O desafio é amplificado pelo fato de que a maioria dos modelos é treinada em praticamente todo o conhecimento humano disponível publicamente. Encontrar áreas onde possamos avaliar genuinamente a capacidade de inovação, sem que o modelo tenha sido exposto à resposta durante o treinamento, requer abordagens criativas e colaboração entre pesquisadores de IA e cientistas de diversas disciplinas.

Perspectivas para o Futuro da IA na Ciência

Para que a IA realmente contribua com descobertas científicas transformadoras, precisamos repensar fundamentalmente como treinamos e avaliamos esses sistemas. O foco deve mudar da obediência para a inovação, da resposta para a pergunta, e da conformidade para o desafio.

Os avanços futuros dependerão de nossa capacidade de criar sistemas que não apenas acumulem conhecimento, mas que possam identificar suas limitações e propor alternativas radicais. Somente então poderemos aproximar-nos da visão de uma IA capaz de acelerar genuinamente o progresso científico.

A promessa de um “país de Einsteins” em centros de dados permanece distante, mas o caminho para realizá-la passa por incentivar nos sistemas de IA as mesmas qualidades que definiram os grandes inovadores da história humana: curiosidade insaciável, disposição para questionar o estabelecido e coragem para propor o aparentemente impossível.

Fonte: Thomas Wolf. “O Contraponto de Hugging Face às Previsões de AGI da Anthropic”. Disponível em: https://huggingface.co/blog/agi-challenges.