IA Precisa Questionar Conhecimento Existente Para Gerar Descobertas Científicas Revolucionárias

Thomas Wolf, cofundador da Hugging Face, contestou as previsões otimistas de Dario Amodei sobre a Inteligência Artificial Geral (AGI) chegar até 2027. Em uma análise detalhada, Wolf argumenta que, embora os Grandes Modelos de Linguagem (LLMs) possam auxiliar em tarefas práticas cotidianas, eles ainda estão longe de fazer descobertas científicas revolucionárias por não terem a capacidade de questionar o conhecimento existente. Segundo Wolf, no ritmo atual, a IA criará “yes-men em servidores” em vez de “Einsteins”, contrariando a visão de Amodei de que teremos “um país de Einsteins em um data center” comprimindo o século 21 em apenas 5-10 anos.

Alunos Nota 10 Nem Sempre Fazem Bons Pesquisadores

Wolf compartilha sua experiência pessoal como aluno exemplar que enfrentou dificuldades na pesquisa científica. Ele revela que, apesar de ter sido sempre um aluno “nota 10”, sentiu-se “medíocre” como pesquisador, descobrindo que ser bom em seguir regras e responder a perguntas conhecidas não o preparou adequadamente para o ambiente de pesquisa.

A história de Wolf ilustra uma realidade comum: ser excelente nos estudos não garante sucesso na inovação científica. Ele observa que muitos gênios enfrentaram dificuldades durante seus períodos formativos, citando exemplos como Edison, McClintock e Einstein.

A capacidade de questionar e desafiar o conhecimento existente, em vez de apenas memorizá-lo e reproduzi-lo, é o que realmente diferencia os revolucionários científicos dos estudantes obedientes. Esta distinção fundamental raramente é reconhecida nos sistemas educacionais tradicionais e, por extensão, nos atuais modelos de treinamento de IA.

O Verdadeiro Avanço Científico Vem de Questionar o Estabelecido

A história da ciência é marcada por momentos em que indivíduos desafiaram o conhecimento aceito em sua época. Copérnico é um exemplo emblemático citado por Wolf: ele propôs que a Terra orbita o Sol, contrariando todo o conhecimento estabelecido de sua era – o equivalente, em termos de aprendizado de máquina, a desafiar todo o conjunto de dados de treinamento.

Outro exemplo recente é a descoberta do CRISPR como ferramenta de edição genética. Embora conhecido desde os anos 1980 como um sistema imunológico bacteriano adaptativo, foi apenas 25 anos depois que Jennifer Doudna e Emmanuelle Charpentier propuseram seu uso para algo completamente diferente: a edição genética, o que lhes rendeu o Prêmio Nobel.

Estes paradigmas revolucionários surgem quando cientistas questionam: “E se todos estiverem errados sobre isso?” ou “E se pudéssemos aplicar este conceito a algo completamente diferente?”. Este tipo de pensamento fora da caixa é essencial para o progresso científico e representa exatamente o que os modelos de IA atuais não são incentivados a fazer.

Limitações dos Benchmarks Atuais de IA

Os testes de avaliação de IA atuais, como “Humanity’s Last Exam” e “Frontier Math”, focam exclusivamente na capacidade de encontrar respostas corretas para perguntas conhecidas. Estes benchmarks, embora úteis para certos propósitos, falham em medir o que realmente impulsiona a ciência: a capacidade de formular novas perguntas e desafiar o conhecimento existente.

Wolf faz uma referência a Douglas Adams com a frase “A resposta é 42, mas ninguém sabe a pergunta certa”, ilustrando que encontrar respostas é apenas metade da equação do progresso científico. A outra metade, frequentemente mais importante, é saber quais perguntas fazer.

Os LLMs atuais estão essencialmente “preenchendo lacunas” no conhecimento humano existente, não gerando conhecimento genuinamente novo. Eles são treinados para concordar com seus dados de treinamento, não para questioná-los – uma limitação fundamental quando se trata de inovação científica.

Novos Benchmarks Para Uma IA Verdadeiramente Inovadora

Para que a IA contribua significativamente para descobertas científicas revolucionárias, Wolf propõe o desenvolvimento de novos benchmarks que avaliem sua capacidade de desafiar o próprio conhecimento. Estes testes deveriam medir se os modelos de IA podem desafiar seus próprios dados de treinamento, adotar abordagens contrárias aos fatos estabelecidos, fazer propostas gerais baseadas em pequenas pistas e formular perguntas não óbvias.

Wolf argumenta que estamos “construindo estudantes muito obedientes, não revolucionários”. Embora isso seja adequado para o objetivo atual de criar assistentes e ajudantes extremamente complacentes, não levará a revoluções científicas até que encontremos maneiras de incentivar os modelos a questionar seu conhecimento.

A criação destes novos benchmarks representa um desafio significativo para a comunidade de IA, mas é essencial para avançar além dos limites atuais. Wolf convida pesquisadores a contribuírem com ideias sobre como criar testes que possam avaliar comportamentos verdadeiramente inovadores em sistemas de IA.

O Modelo do “Aluno B” Para a IA do Futuro

Em vez de buscar uma IA que seja um “aluno A+” capaz de responder a todas as perguntas com conhecimento geral, Wolf sugere que devemos aspirar a criar uma IA que seja mais como um “aluno B” – alguém que vê e questiona o que todos os outros perderam.

Esta mudança de perspectiva é fundamental. Não precisamos de sistemas que saibam todas as respostas; precisamos de sistemas que questionem o conhecimento existente e vejam possibilidades onde outros não veem. Como Wolf coloca, “para criar um Einstein em um data center, não precisamos apenas de um sistema que conheça todas as respostas, mas sim de um que possa fazer perguntas que ninguém mais pensou ou ousou fazer”.

Um “aluno B” que questiona pode, em última análise, ser muito mais valioso para o progresso científico do que um “aluno A+” que apenas reproduz o conhecimento existente sem jamais desafiá-lo. Esta é a verdadeira essência da inovação científica.

Um Benchmark Concreto: Descobertas Sem Exposição Prévia

Um possível benchmark proposto por Wolf seria testar a capacidade da IA de fazer descobertas recentes sobre as quais ela não foi treinada. Isso envolveria avaliar como o modelo formula perguntas relevantes em um tópico desconhecido – essencialmente, testando sua capacidade de “pensar fora da caixa”.

Este tipo de avaliação é particularmente desafiador devido ao treinamento abrangente dos modelos atuais, que já foram expostos a vastas quantidades de conhecimento humano. No entanto, é precisamente este tipo de teste que poderia revelar se um modelo tem o potencial de gerar insights genuinamente novos.

Wolf sugere que uma abordagem poderia ser testar um modelo em alguma descoberta recente que ele não deveria conhecer ainda (um equivalente moderno da relatividade especial) e explorar como o modelo começa a fazer as perguntas certas sobre um tópico para o qual não tem exposição às respostas ou estrutura conceitual.

O Futuro da IA na Ciência Depende de Nossa Abordagem

Para que a IA realmente impulsione descobertas científicas revolucionárias, precisamos repensar fundamentalmente como avaliamos e incentivamos seu desenvolvimento. Os benchmarks atuais, focados em respostas corretas para perguntas conhecidas, não nos levarão a uma IA capaz de gerar os tipos de insights transformadores que caracterizam os maiores avanços científicos.

A crítica de Wolf às previsões otimistas sobre AGI não é uma rejeição do potencial da IA, mas um chamado para uma abordagem mais sofisticada e nuançada. Precisamos desenvolver sistemas que não apenas saibam, mas que questionem – sistemas que possam desafiar seu próprio treinamento quando necessário.

O verdadeiro teste para a IA não será quantas perguntas ela pode responder corretamente, mas quantas perguntas novas e significativas ela pode formular. Somente então poderemos começar a vislumbrar o tipo de revolução científica que Amodei prevê – não através de “yes-men em servidores”, mas através de sistemas que incorporam a curiosidade inquieta e o espírito questionador que caracterizam os maiores cientistas humanos.

Fonte: Thomas Wolf. “Crítica às previsões de AGI de Dario Amodei”. Disponível em: https://link.mail.beehiiv.com/ss/c/u001.LDkxbMa7NCxUGG7E2Yh3AExgVnhrbjJl_2TXVcqefuAYU9yAoNRYeP381LDZNBjE0diHg3PlorWCa387R2obLFIsQGmqwhHkBBsCghyyonnqv5L-7sD3Pldo0TW0lpXTXzoJNo5Cv7nFcE3DPhabdKr_qDqUMSD-hKnN6WdkKsuTbj5Ex4xIPdtAadJINyExzrVUBukbS0bMUbzFqokQtePj1rimjtu4cLeRgEqCEwUstWbxsCsj7rItdX8MhRa-5wxGbot_TlqSKgQiIu3dYg/4eo/cX_MWX1eTT-H5g4zMUIA-g/h5/h001.5jaMRY_1yIg8DBgCPzN7iXcaHCpGcOXgjve5tWX62gc