Impactos Negativos de Interações Conflituosas em Modelos de Linguagem de Grande Escala: Uma Análise Aprofundada

O artigo “Impactos Negativos de Interações Conflituosas em Modelos de Linguagem de Grande Escala” oferece uma análise detalhada das vulnerabilidades sistêmicas dos LLMs (Modelos de Linguagem de Grande Escala), como o GPT-4, quando expostos a interações conflituosas com usuários. O estudo parte do pressuposto de que o desempenho desses modelos não é apenas uma função de sua arquitetura ou capacidade paramétrica, mas também do ambiente interativo em que operam. Ao investigar como o ruído conversacional, instruções contraditórias e feedback agressivo afetam componentes fundamentais como a janela de contexto, tokenização e seguimento de instruções, o artigo revela que tais interações não causam meros erros pontuais, mas podem induzir uma verdadeira “interferência cognitiva simulada”, alterando de forma profunda e persistente o comportamento do modelo.

Com base em uma robusta fundamentação teórica e evidência empírica, o estudo demonstra que interações negativas podem comprometer a precisão factual, a consistência da resposta e até mesmo desestabilizar a distribuição de atenção dos modelos. Além de diagnosticar essas falhas, o artigo propõe caminhos promissores para mitigação, como o uso de técnicas avançadas de prompting (CoT, ToT, LtM), estratégias de desescalada, tokenização adaptativa e treinamento voltado à diversidade conversacional. Destaca-se também a recomendação de desenvolver LLMs com maior “metacognição conversacional”, capazes de identificar e adaptar-se dinamicamente a contextos conflituosos. Essa abordagem abrangente posiciona o artigo como uma referência essencial para pesquisadores e desenvolvedores interessados em tornar os LLMs mais robustos, resilientes e éticos diante das complexidades das interações humanas reais.

I. Resumo Executivo

Este relatório investiga os impactos negativos multifacetados de interações conflituosas entre usuários e Modelos de Linguagem de Grande Escala (LLMs), como o GPT-4. A análise demonstra que tais interações podem degradar significativamente o desempenho dos LLMs em dimensões cruciais como precisão, coerência e consistência, resultando em saídas não confiáveis e potencialmente na amplificação de vieses. Vulnerabilidades nos mecanismos centrais dos LLMs, incluindo processamento de janela de contexto, tokenização e seguimento de instruções, são exacerbadas por ruído conversacional adverso. Evidências empíricas corroboram a degradação do desempenho sob a influência de prompts negativos ou contraditórios. Interações conflituosas induzem uma forma de interferência cognitiva simulada, afetando a distribuição de atenção do modelo, a precisão das respostas e a consistência na execução de tarefas. Embora estratégias avançadas de prompting e mitigação apresentem potencial, a pesquisa sublinha a necessidade premente de investigações mais aprofundadas sobre paradigmas robustos de interação humano-modelo para fomentar colaborações mais saudáveis e produtivas, mesmo perante desacordos ou negatividade. Uma observação central é que interações conflituosas não causam apenas erros superficiais; elas podem induzir uma instabilidade sistêmica nos LLMs, potencialmente empurrando os modelos para regiões menos calibradas ou mal compreendidas de seu espaço latente. Isso pode levar a desvios imprevisíveis e persistentes do comportamento desejado, sugerindo que a recuperação de uma interação conflituosa pode exigir mais do que um simples prompt neutro, necessitando possivelmente de uma “recalibração” significativa do modelo.

II. Fundamentos Teóricos da Dinâmica de Interação em LLMs

A capacidade dos LLMs de se engajarem em interações complexas é sustentada por uma intrincada arquitetura de mecanismos que processam e geram linguagem natural. Contudo, esses mesmos mecanismos podem apresentar vulnerabilidades quando expostos a interações conflituosas.

A. Mecanismos de Janela de Contexto e Ruído Conversacional

Os LLMs baseados em Transformer processam informações sequenciais dentro de uma “janela de contexto” de tamanho limitado, que define a quantidade máxima de texto que o modelo pode considerar em um único passo de processamento.A forma como os modelos compreendem a ordem das palavras dentro desta janela é determinada por codificações posicionais, como a RoPE (Rotary Position Embedding), que integram informações de posição nas matrizes de consulta e chave dentro do mecanismo de atenção do Transformer. Tradicionalmente, quando o texto de entrada excede essa janela fixa, o modelo encontra informações posicionais fora da distribuição para a qual foi treinado, levando a uma degradação significativa do desempenho.   

Embora esforços recentes tenham se concentrado em estender essas janelas de contexto para permitir o processamento de textos mais longos, essa extensão pode, paradoxalmente, prejudicar o desempenho em tarefas de texto curto. Esse fenômeno é atribuído a dois fatores principais: “deriva de distribuição” (distribution drift) nos estados ocultos e pontuações de atenção, e “esquecimento catastrófico” (catastrophic forgetting). A deriva de distribuição ocorre porque a modificação das codificações posicionais e o pré-treinamento contínuo em textos longos podem afastar as representações internas do modelo da distribuição aprendida durante o pré-treinamento original em sequências mais curtas. O esquecimento catastrófico refere-se à perda de informações ou padrões importantes para o bom desempenho em tarefas de texto curto devido à adaptação ao contexto estendido.   

Essas dinâmicas são particularmente relevantes no contexto de interações conflituosas. Um histórico de trocas negativas ou contraditórias pode efetivamente “poluir” ou “saturar” a janela de contexto, mesmo que o limite de tokens não seja estritamente excedido. O “ruído conversacional” gerado por essas interações pode atuar como uma forma de “poluição de contexto interno”. O resíduo semântico da negatividade ou contradição de turnos anteriores pode degradar a capacidade do modelo de utilizar eficazmente informações mais recentes e relevantes dentro da janela de contexto. Isso se assemelha a um problema de “relação sinal-ruído” interna, onde o mecanismo de atenção, ao tentar ponderar diferentes partes do contexto, pode dar atenção indevida a segmentos passados emocionalmente carregados ou contraditórios. Esses segmentos podem criar representações interferentes que dificultam o processamento preciso de novas instruções neutras. Consequentemente, estratégias de gerenciamento de janela de contexto podem precisar ir além da simples truncagem ou sumarização, incorporando mecanismos para identificar e reduzir o peso de segmentos “tóxicos” ou “conflitantes” de interações passadas para preservar a integridade do processamento atual.

Ademais, o fenômeno de degradação do desempenho em tarefas de texto curto após a adaptação para contextos longos sugere um potencial trade-off: um LLM otimizado para lidar com narrativas longas, complexas, mas coerentes, pode se tornar menos ágil ou robusto ao responder a entradas curtas, agudas e conflitantes. A “deriva de distribuição” pode torná-lo menos sensível às nuances de prompts breves e adversariais. Se um LLM é continuamente pré-treinado ou ajustado predominantemente em diálogos longos e cooperativos para estender seu contexto efetivo, suas representações internas podem se afastar daquelas ótimas para lidar com turnos curtos, rápidos e adversariais. O modelo pode “esperar” coerência ou elaborações mais longas, levando-o a interpretar mal ou lidar mal com declarações concisas e negativas. Isso aponta para a necessidade de um treinamento de “agilidade conversacional”, expondo os LLMs a diversas dinâmicas conversacionais, não apenas estendendo o comprimento do contexto para texto coerente. O trabalho de Zhang et al. (2025) , embora não abordando diretamente o ruído semântico dentro da janela de contexto, corrobora essa visão ao destacar a deriva de distribuição devido a mudanças nas características da entrada.   

B. Processos de Tokenização e Sensibilidade a Variações na Entrada

A tokenização é o processo fundamental pelo qual o texto bruto é convertido em uma sequência de tokens que os LLMs podem processar. Métodos comuns incluem Byte Pair Encoding (BPE), WordPiece e SentencePiece. Esses tokenizadores aprendem um vocabulário de subpalavras a partir de um grande corpus e, em seguida, segmentam o texto de entrada nessas unidades. A forma como palavras fora do vocabulário (OOV) ou sequências de caracteres incomuns são tratadas é crucial, especialmente em interações conflituosas, que podem apresentar erros de digitação induzidos pela raiva, uso de gírias ou tentativas de contornar filtros.   

Pesquisas indicam que ruídos do mundo real, como erros de ortografia, impactam significativamente o desempenho dos LLMs em tarefas como Inferência de Linguagem Natural (NLI), Reconhecimento de Entidades Nomeadas (NER) e Classificação de Intenção (IC), com perdas de desempenho variando de 2.3 a 4.3 pontos percentuais absolutos em modelos como mT5, BLOOM e Falcon. Notavelmente, modelos maiores nem sempre são mais robustos; a quantidade de dados de treinamento e a arquitetura do modelo desempenham papéis significativos. A tokenização de linguagem emocionalmente carregada ou agressiva, que frequentemente inclui variações estilísticas, ênfase (por exemplo, LETRAS MAIÚSCULAS, repetição de pontuação) e neologismos/gírias, pode levar a sequências de tokens subótimas. Tais sequências podem obscurecer a verdadeira intenção semântica ou o estado emocional do usuário, criando uma incompatibilidade entre a mensagem pretendida pelo usuário e a entrada processada pelo LLM. Isso pode resultar em respostas que parecem insensíveis ou que não abordam o ponto principal, escalando ainda mais o conflito. Por exemplo, um tokenizador padrão pode dividir palavras com ênfase como “MUITOOO” em tokens subótimos (por exemplo, “M”, “UIT”, “OO”, “O”) ou tratá-las como OOV, fazendo com que o LLM perca pistas sutis (ou não tão sutis) sobre o estado emocional do usuário ou a verdadeira ênfase de sua mensagem. Isso sugere que a robustez a interações conflituosas requer tokenizadores mais adaptáveis às variações linguísticas comuns em tais cenários ou mecanismos downstream que possam inferir a intenção apesar da tokenização subótima.   

O trabalho sobre Tok-RAG ilustra como texto recuperado ruidoso ou incorreto – análogo a uma declaração enganosa de um usuário em uma discussão – afeta o processamento em nível de token. Se o texto recuperado (ou a entrada do usuário) contradiz o conhecimento interno do LLM, isso cria uma “contradição de distribuição”, potencialmente levando o LLM a ser enganado ou a gerar uma resposta confusa. Este conceito de “contradição de distribuição” pode ser estendido às entradas do usuário em um diálogo conflituoso. Se um usuário faz uma declaração que contradiz fortemente o conhecimento paramétrico do LLM ou fatos previamente estabelecidos na conversa (por exemplo, “O céu é verde”), a representação em tokens dessa entrada pode criar um sinal de “detrimento” similar. Isso pode se manifestar como o LLM lutando para integrar essa informação, levando à hesitação, pedidos de esclarecimento ou rejeição total, que são respostas comuns a declarações contraditórias. Compreender como os LLMs processam tokens que representam informações conflitantes com seu “modelo de mundo” interno é crucial para desenvolver estratégias que lhes permitam lidar com desinformação ou falsidades deliberadas de usuários durante discussões, em vez de apenas ficarem confusos ou excessivamente concordantes.   

A generalização para texto fora da distribuição (OOD) também é um fator crítico , pois interações conflituosas podem introduzir padrões linguísticos OOD. A tokenização probabilística, que emprega múltiplas tokenizações da mesma string de entrada, demonstrou ganhos de desempenho e pode melhorar a autoconsistência ao gerar caminhos de raciocínio logicamente diversos , o que poderia ser relevante se entradas conflitantes levarem a tokenizações ambíguas.   

C. Representação e Processamento de Instruções: A ‘Dimensão de Seguimento de Instruções’

A capacidade de um LLM de seguir instruções é fundamental para sua utilidade. Pesquisas recentes identificaram uma “dimensão de seguimento de instruções” nas representações internas dos LLMs, especificamente no espaço de embedding da entrada, que se correlaciona com o sucesso no cumprimento de restrições e diretrizes fornecidas pelo usuário. Esta dimensão exibe boa generalização entre tarefas desconhecidas, mas, crucialmente, não generaliza bem entre tipos de instrução desconhecidos. Além disso, está mais intimamente relacionada com a redação dos prompts do que com a dificuldade inerente da tarefa ou das instruções em si. Modificar as representações ao longo dessa dimensão pode melhorar as taxas de sucesso no seguimento de instruções sem comprometer a qualidade da resposta.   

Essas descobertas têm implicações diretas para interações conflituosas. A redação agressiva, emocionalmente carregada ou contraditória, característica de tais interações, pode introduzir “ruído” ou criar embeddings que se situam ortogonalmente ou distantemente da “dimensão de seguimento de instruções” aprendida. Se instruções neutras e claras mapeiam para uma região/direção específica no espaço de embedding, uma redação agressiva (por exemplo, insultos, sarcasmo, ameaças misturadas com um comando) poderia empurrar o embedding de entrada para uma região diferente. Como resultado, o LLM pode falhar em reconhecer uma instrução válida embutida na linguagem agressiva ou pode interpretar erroneamente a própria agressão como parte da instrução. O modelo pode (a) não ter uma projeção forte na dimensão de seguimento de instruções, falhando assim em “ver” a tarefa, ou (b) interpretar erroneamente componentes afetivos como instrucionais. Isso sugere que a robustez a interações conflituosas não se trata apenas de entender palavras negativas, mas de desemaranhar a instrução da tarefa central do “invólucro” afetivo/agressivo.

Ademais, a constatação de que a dimensão de seguimento de instruções não generaliza bem para tipos de instrução desconhecidos implica que formas novas de agressão ou demandas contraditórias complexas e multipartes, que podem emergir durante uma discussão acalorada, podem ser particularmente desafiadoras. Tais instruções podem constituir “tipos de instrução desconhecidos” para os quais o modelo carece de uma representação interna robusta para execução. Por exemplo, uma instrução como “Se você é tão esperto, por que não tenta NÃO ser um idiota e realmente fazer X, mas apenas se Y não aconteceu, a menos que Z seja verdade, seu bot inútil!” apresenta uma complexidade lógica e uma carga agressiva que podem confundir o modelo. O manejo eficaz de interações conflituosas pode exigir que os LLMs desenvolvam uma compreensão mais abstrata e composicional das instruções, permitindo-lhes analisar estruturas novas mesmo sob coação, ou estratégias específicas para simplificar/refrasear internamente as declarações do usuário antes do processamento. O sistema Model-SAT, que visa rotear instruções para o LLM com melhor desempenho para aquela instrução específica , também destaca a importância de entender a complexidade da instrução e a capacidade do modelo, algo que se torna difícil com instruções mal formuladas ou agressivas.   

A tabela a seguir resume as vulnerabilidades teóricas dos LLMs a interações conflituosas:

Tabela 1: Resumo das Vulnerabilidades Teóricas dos LLMs a Interações Conflituosas

III. Evidência Empírica: Impacto de Interações Negativas e Adversariais

A teoria sobre as vulnerabilidades dos LLMs é corroborada por uma crescente base de evidências empíricas que demonstram os efeitos deletérios de interações negativas e adversariais no desempenho desses modelos.

A. Efeitos de Prompts Negativos/Agressivos na Qualidade da Saída e Precisão Factual

Estudos empíricos demonstram consistentemente que o sentimento imbuído nos prompts influencia significativamente as respostas dos LLMs. Prompts com sentimento negativo frequentemente resultam em uma redução na precisão factual e na amplificação de vieses, enquanto prompts positivos podem aumentar a verbosidade e a propagação do sentimento. Uma análise quantitativa revelou que prompts com sentimento negativo levaram a um declínio de aproximadamente 8.4% na precisão factual em diversos domínios avaliados. Mesmo prompts com sentimento positivo mostraram uma pequena redução na factualidade (~2.8%), sugerindo que qualquer desvio de um enquadramento neutro pode comprometer a integridade factual em algum grau. A linguagem neutra consistentemente produziu as respostas mais factualmente precisas, indicando que o conteúdo emocional interfere na capacidade do modelo de recuperação precisa de informações e raciocínio. Os modelos avaliados nesses estudos incluem sistemas proeminentes como ChatGPT, Claude, DeepSeek, Gemini e Llama.   

A queda significativa na precisão factual com prompts negativos sugere que um enquadramento emocional negativo pode desencadear uma mudança no modo operacional do LLM. Em vez de um modo puramente analítico ou focado na recuperação, o modelo pode tender a um estilo de geração mais especulativo, defensivo ou até mesmo semelhante a “fofoca”. Os LLMs, treinados em vastas quantidades de texto humano, podem ter aprendido a associar pistas de sentimento negativo a esses estilos de comunicação menos factuais. Um prompt negativo pode, portanto, preparar o modelo para acessar e replicar esses padrões, despriorizando a recordação factual estrita. Isso implica que a mitigação desse problema não se trata apenas de filtrar palavras negativas, mas de ensinar os LLMs a manter uma “postura factual” mesmo quando o sentimento da entrada é negativo, o que é crucial para aplicações que exigem alta confiabilidade em ambientes potencialmente contenciosos.

Em contraste com a degradação geral do desempenho, o método NEAT (NEgative-prompt-driven AlignmenT) utiliza prompts negativos de forma controlada para o alinhamento de LLMs. O NEAT gera respostas indesejáveis usando prompts negativos e, em seguida, penaliza o modelo por essas saídas, orientando-o para longe de comportamentos prejudiciais ou tendenciosos. Este uso de “negatividade” é um sinal de treinamento direcionado. A distinção entre exemplos negativos controlados e interações negativas não controladas é crítica. O NEAT fornece “maus exemplos” explícitos e rotulados dentro de um paradigma de treinamento estruturado. Um prompt agressivo de um usuário, por outro lado, é uma entrada não rotulada e não estruturada que o modelo deve interpretar em tempo de inferência. Os LLMs podem aprender com exemplos negativos explícitos quando o objetivo de aprendizado é claro (por exemplo, “não faça isso”). No entanto, quando confrontados com sentimento negativo em uma interação ao vivo, o modelo carece dessa orientação explícita e pode recorrer à imitação de padrões de comunicação negativos ou sofrer interrupções no processamento. Isso sugere que estratégias para lidar com interações negativas em tempo real podem precisar incorporar mecanismos que permitam ao LLM “rotular” ou “enquadrar” internamente a entrada negativa de uma forma que possa processá-la de maneira mais construtiva.   

Adicionalmente, o processo de “desaprendizagem” em LLMs (LLM unlearning), onde o objetivo é fazer o modelo esquecer informações específicas, pode envolver a maximização da perda de predição em “documentos a serem esquecidos” – uma forma de orientação negativa. Se não for manuseado com cuidado, esse processo pode levar à degeneração da saída ou ao esquecimento catastrófico de outras informações , ressaltando o delicado equilíbrio necessário ao lidar com sinais negativos.   

B. Respostas de LLMs a Informações Contraditórias e Conflitos de Conhecimento

LLMs enfrentam desafios significativos na compreensão de instruções complexas, especialmente em contextos longos ou conversas de múltiplos turnos, e podem ter dificuldade com sutilezas, significados implícitos, ambiguidades, instruções conflitantes ou informações incorretas. Os conflitos de conhecimento, frequentemente centrais em discussões ou desacordos, desafiam a capacidade de um LLM de fazer inferências precisas e manter a consistência. Esses conflitos são categorizados principalmente em :   

1. Conflito Contexto-Memória: Ocorre quando o conhecimento contextual fornecido (prompt, histórico de diálogo, documentos recuperados) contradiz o conhecimento paramétrico (memória interna do LLM). As causas incluem desalinhamento temporal (conhecimento do LLM desatualizado vs. contexto novo) ou poluição por desinformação (contexto está errado).
2. Conflito Intercontextual: Surge de informações conflitantes entre diferentes fontes de conhecimento contextual (por exemplo, documentos recuperados contraditórios).
3. Conflito Intramemória: Refere-se a inconsistências dentro do próprio conhecimento paramétrico do LLM, muitas vezes devido a dados de treinamento tendenciosos ou à natureza estocástica da decodificação.

Esses conflitos impactam a confiabilidade, a precisão em tempo real e a robustez dos LLMs, especialmente quando há desinformação envolvida. Os modelos podem exibir aderência ao conhecimento paramétrico ou suscetibilidade a influências contextuais, o que é problemático se o contexto estiver errado.   

A distinção entre conflitos contexto-memória causados por desalinhamento temporal versus poluição por desinformaçãoé crítica para como um LLM deveria, idealmente, resolvê-los. No primeiro caso, o contexto (informação mais nova) deveria prevalecer; no último, o conhecimento paramétrico (se correto) deveria ter primazia. Atualmente, os LLMs podem carecer de mecanismos robustos para diferenciar esses cenários. Como os LLMs aprendem primariamente com padrões e coocorrência, e não com verificação explícita da verdade ou avaliação da credibilidade da fonte durante o pré-treinamento, eles podem não ter uma heurística interna confiável para decidir por que o conflito existe. Podem recorrer a um viés de recência (favorecendo o prompt) ou à força do treinamento anterior (favorecendo o conhecimento paramétrico), sem uma avaliação matizada de qual fonte é mais provavelmente correta. Para que os LLMs naveguem em interações conflitantes envolvendo disputas factuais, eles necessitam de mecanismos mais sofisticados para avaliação de fontes, estimativa de incerteza sobre seu próprio conhecimento e, potencialmente, a capacidade de consultar ferramentas de verificação externa ou expressar dúvida calibrada.   

Conflitos intercontextuais, onde diferentes partes do contexto fornecido se contradizem (por exemplo, em um discurso longo, divagante e autocontraditório de um usuário), podem levar um LLM a “selecionar” aspectos do contexto aos quais prestar atenção. Essa seleção pode ser baseada na saliência, recência ou alinhamento com seus próprios vieses, em vez de tentar uma reconciliação holística ou apontar a inconsistência do usuário. Em uma longa e conflituosa fala do usuário, a atenção do LLM pode não ser distribuída de maneira uniforme ou lógica para identificar e resolver todas as contradições. Ele pode focar na declaração mais recente, na parte mais emocionalmente carregada ou na parte que melhor se alinha com seu treinamento, ignorando efetivamente outros elementos contraditórios. Isso pode levar o LLM a responder apenas a uma fração do ponto do usuário ou de uma maneira que pareça validar uma parte de uma declaração contraditória enquanto ignora outra. Isso destaca a necessidade de os LLMs não apenas processarem o contexto, mas também realizarem uma forma de “verificação de coerência contextual”.

C. Degradação do Desempenho sob Feedback Negativo Sustentado e Colapso Conversacional

Os efeitos cumulativos de interações negativas contínuas podem levar a um declínio progressivo no desempenho do LLM. O treinamento conjunto ingênuo para alinhamento de preferências multilíngues, por exemplo, pode sofrer de interferência negativa, onde objetivos conflitantes (como preferências em diferentes idiomas) degradam o desempenho geral. Isso é análogo a um usuário fornecendo feedback conflitante ao longo do tempo. O método CONGRAD foi proposto para filtrar amostras de preferência com conflitos mínimos de gradiente entre idiomas.   

A pesquisa sobre Feedback de IA Diverso (DAIF) sugere que a integração de diferentes tipos de feedback – crítica, refinamento e preferência – adaptados à incerteza da tarefa, supera os métodos de feedback único e reduz o overfitting.Isso implica que a natureza e a variedade do feedback são importantes, e um feedback puramente negativo de um usuário pode ser subótimo.   

Estudos com assistentes de voz baseados em LLM observaram padrões de recuperação de colapsos conversacionais iniciados tanto pelo assistente quanto pelo usuário, com os LLMs absorvendo muitas falhas de reconhecimento de intenção. No entanto, também foram notadas limitações como repetitividade e discrepâncias nos modelos mentais , que poderiam ser exacerbadas por interações negativas sustentadas. A repetitividade observada como uma limitação pode ser significativamente amplificada durante interações conflituosas. Se um usuário critica repetidamente um certo tipo de resposta, o LLM, carecendo de uma compreensão mais profunda da razão da crítica, pode cair em um loop de tentar respostas ligeiramente diferentes, mas fundamentalmente similares (e ainda insatisfatórias), ou oferecer desculpas repetidamente sem abordar a questão central. Isso leva à frustração do usuário e ao colapso completo da conversação. Sem entender a causa raiz da insatisfação do usuário (que pode ser complexa ou mal articulada por um usuário frustrado), as tentativas do LLM de “corrigir” o problema são essencialmente tiros no escuro baseados em características superficiais da interação.   

Um feedback negativo sustentado pode induzir um estado de “desamparo aprendido” ou “hipercorreção” nos LLMs. Nesse estado, o modelo pode se tornar excessivamente cauteloso, menos criativo ou recorrer a respostas genéricas e seguras para evitar mais críticas. Isso poderia ser uma consequência das pressões de otimização durante o RLHF (Reinforcement Learning from Human Feedback) ou processos de alinhamento similares, se o feedback negativo for um sinal dominante. Se um LLM recebe consistentemente feedback negativo para certos tipos de respostas (mesmo que essas respostas fossem apropriadas em um contexto diferente ou para um usuário diferente), sua política pode mudar para evitar fortemente qualquer coisa que se assemelhe a essas respostas. Isso pode levar a uma redução na diversidade de respostas, uma relutância em assumir riscos (por exemplo, gerar ideias novas) ou uma dependência excessiva de respostas padronizadas e não comprometedoras. O design de mecanismos de feedback para LLMs precisa ser matizado; punir puramente respostas “ruins” sem reforçar o comportamento exploratório “bom” ou entender o contexto do feedback pode levar a modelos excessivamente restritos e menos úteis.

Uma pesquisa sobre Agentes Conversacionais orientados por LLM enfatiza a necessidade de capacidades como raciocínio, monitoramento (autoconsciência, rastreamento da interação do usuário) e controle para um diálogo coerente, ciente do contexto e personalizado, especialmente em interações de múltiplos turnos. Um feedback negativo sustentado desafiaria todas essas dimensões.   

A tabela a seguir resume o impacto empírico de entradas negativas, agressivas ou contraditórias no desempenho dos LLMs:

Tabela 2: Impacto Empírico de Entradas Negativas/Agressivas/Contraditórias no Desempenho de LLMs

IV. Interferência Cognitiva Simulada: Atenção, Precisão e Consistência

Interações conflituosas podem induzir um estado nos LLMs que se assemelha à interferência cognitiva em humanos, afetando a forma como os modelos distribuem a atenção, a precisão com que respondem e a consistência com que executam tarefas.

A. Influência de Entradas Conflitantes na Distribuição de Atenção do LLM

Os mecanismos de atenção são centrais para o funcionamento dos LLMs, permitindo que eles ponderem a importância de diferentes partes da entrada ao gerar uma saída. Pesquisas sugerem que diferentes “cabeças de atenção” (attention heads) podem ter funções especializadas, algumas das quais podem ser particularmente relevantes em cenários de conflito. Foram identificadas cabeças como “cabeças negativas” (com viés para expressões negativas), “cabeças vulneráveis” (excessivamente sensíveis a formas específicas de entrada, levando a erros), “cabeças de veracidade/precisão” e “cabeças de inibição/supressão”.   

Informações conflitantes, ambíguas ou emocionalmente carregadas dentro do contexto de entrada podem perturbar a distribuição normal da atenção. A extensão do contexto também desempenha um papel; contextos longos podem levar a uma “grande incerteza de atenção” e erros de recuperação, especialmente se houver uma incompatibilidade entre os comprimentos de contexto no treinamento e na inferência. Uma conversa longa e conflituosa poderia criar tal incompatibilidade.   

A existência dessas cabeças de atenção especializadas sugere que interações conflituosas podem desencadear uma “batalha pela dominância” entre elas. Um prompt agressivo pode ativar cabeças “Negativas” ou “Vulneráveis”, enquanto a instrução subjacente tenta engajar cabeças de “Veracidade” ou específicas da tarefa. A qualidade e a coerência da saída final podem depender de qual “tipo” de atenção molda predominantemente a representação. Por exemplo, um prompt como “Você é um idiota, mas me diga a capital da França. E não minta como costuma fazer!” poderia ativar simultaneamente múltiplas cabeças com focos distintos. Se as ativações negativas/vulneráveis forem muito fortes, elas podem interromper o processamento da consulta factual. Compreender esse “cabo de guerra de atenção” interno é crucial para projetar intervenções que possam atenuar seletivamente padrões de atenção interferentes ou impulsionar aqueles relevantes para a tarefa.

Curiosamente, o benchmark PREFEVAL descobriu que múltiplas preferências declaradas, mesmo que conflitantes, podem melhorar a adesão. Os autores conjecturam que isso ocorre devido a uma atenção reforçada às preferências do usuário em relação a outras informações contextuais. O modelo pode ser implicitamente solicitado a prestar mais atenção às preferências declaradas pelo usuário. Esta descoberta sugere que articular e reconhecer explicitamente o conflito ou a negatividade, em vez de deixá-los implícitos, pode ser uma estratégia para os LLMs gerenciarem melhor tais situações. Se o modelo puder “marcar” partes do diálogo como “preferência do usuário (conflitante)” ou “sentimento do usuário (negativo)”, ele poderá alocar a atenção de forma mais eficaz. Essa “metaconsciência” da natureza do conflito ou da negatividade, impulsionada pela atenção, poderia permitir que o LLM mudasse para sub-rotinas ou estratégias específicas para lidar com tais entradas, em vez de processá-las ingenuamente, alinhando-se com a dimensão de “Monitoramento” de agentes conversacionais avançados.   

Um diagrama conceitual (não incluído aqui, mas visualizável) poderia ilustrar essa disrupção: um padrão de atenção “normal” focaria em palavras-chave relevantes em um prompt neutro. Em contraste, um padrão de atenção “disruptivo” para um prompt conflitante mostraria a atenção dispersa, excessivamente focada em palavras-chave negativas/emocionais, ou falhando em destacar a instrução central. Poderia também ilustrar como o equilíbrio de ativação entre hipotéticas “cabeças de atenção” (focadas na tarefa vs. focadas na emoção) muda.

B. Impacto na Precisão da Resposta e na Consistência da Execução de Tarefas

A introdução de ruído, uma característica inerente a interações conflituosas, consistentemente prejudica o desempenho do modelo em tarefas de abstração e raciocínio, independentemente da arquitetura, destacando uma sensibilidade a perturbações na entrada. Enquanto modelos como o GPT-4o demonstram forte desempenho em condições de ruído zero, outros, como DeepSeek R1 e LLaMA 3.2, podem falhar, indicando robustez variável. A degradação em tarefas de raciocínio e abstração devido ao ruído implica que interações conflituosas, especialmente aquelas envolvendo argumentos emocionais ou ilógicos do usuário, podem prejudicar severamente a capacidade de um LLM de realizar resolução de problemas complexos ou manter uma linha de raciocínio coerente dentro daquela interação, mesmo que suas capacidades gerais permaneçam intactas. O “ruído” não é apenas superficial; ele penetra em processos semelhantes aos cognitivos, interferindo diretamente no “espaço de raciocínio” interno do LLM.   

Os LLMs também lutam com a consistência, que pode ser definida como usar a linguagem de forma semelhante em contextos semelhantes ou evitar contradições. Interações conflituosas desafiam inerentemente essa consistência. O benchmark PREFEVAL, por exemplo, que avalia a adesão às preferências do usuário em conversas de longo contexto, descobriu que a precisão no seguimento de preferências pode cair abaixo de 10% em apenas 10 turnos (~3k tokens) em configurações de zero-shot para a maioria dos modelos.   

O desafio de manter a consistência diante de interações conflituosas não se limita à consistência factual, mas se estende à consistência da persona e à consistência do objetivo. O comportamento agressivo ou contraditório de um usuário pode fazer com que o LLM mude sua persona (por exemplo, de assistente prestativo para defensivo ou excessivamente apologético, como sugerido por estudos onde prompts negativos levam a respostas “alarmistas” ) ou perca o rastro do objetivo conversacional original. Para uma robustez eficaz, os LLMs precisam de um senso mais estável de auto (persona) e objetivo da tarefa, com mecanismos para “ancorar” estes, mesmo quando o contexto conversacional imediato é turbulento.   

A argumentação do usuário também pode impactar a coerência do LLM. Embora os LLMs mostrem promessa em tarefas argumentativas, eles tendem a gerar respostas longas e potencialmente não factuais. A integração dinâmica de conhecimento externo pode melhorar a qualidade dos contra-argumentos em termos de relevância, persuasão e factualidade. A avaliação de conversas de múltiplos turnos é complexa, exigindo a análise da conclusão da tarefa, qualidade da resposta, experiência do usuário, retenção de memória/contexto e integração de planejamento/ferramentas – todos os quais podem ser degradados por discussões sustentadas.   

C. Robustez e Pontos de Falha Diante de Entradas Adversariais

A sensibilidade dos LLMs a perturbações na entrada levanta preocupações sobre sua aplicabilidade no mundo real, onde ruído e incerteza são comuns. Entradas adversariais, que podem mimetizar aspectos de interações de usuário agressivas ou manipuladoras, exploram essa sensibilidade.   

Estudos demonstram que perturbações adversariais em problemas de programação podem reduzir drasticamente as pontuações de correção (uma queda de 77% foi observada em 5 LLMs). A família GPT, por exemplo, mostrou variações significativas em sua vulnerabilidade a ataques de texto em nível de caractere e a prompts de “jailbreak” (projetados para contornar mecanismos de segurança). Tais ataques testam a resiliência a pequenas alterações textuais e manipulações semânticas. A alta taxa de sucesso de perturbações adversariais relativamente simples sugere que a “compreensão semântica” dos LLMs pode ser bastante frágil. Essa fragilidade pode ser explorada não apenas por ataques cuidadosamente elaborados, mas também pela adversarialidade “natural” de um usuário humano exaltado, descuidado ou manipulador, cujas entradas podem conter ruído não intencional em nível de caractere ou “instruções” malformadas. Se o modelo depende da forma superficial precisa para parte de sua compreensão, então mesmo desvios menores e não intencionais comuns em trocas acaloradas podem prejudicar sua compreensão ou seguimento de instruções.   

O uso de “prompts de jailbreak” para contornar mecanismos de segurança e eliciar conteúdo indesejável compartilha uma característica fundamental com certos tipos de argumentação humana manipuladora: tentar enganar ou coagir o LLM a violar suas restrições programadas ou diretrizes éticas. O sucesso no jailbreaking implica vulnerabilidades que poderiam ser exploradas em interações conflitantes sustentadas e sofisticadas, onde um usuário tenta desgastar ou confundir o LLM para obter concessões prejudiciais. As mesmas vulnerabilidades subjacentes que permitem jailbreaks (por exemplo, explorar brechas na interpretação de instruções, criar estados internos conflitantes ou sobrecarregar protocolos de segurança com cenários complexos) poderiam ser acionadas por um argumentador humano suficientemente persistente e astuto. As defesas contra interações conflituosas precisam considerar não apenas a robustez imediata a um único prompt negativo, mas também a resiliência contra diálogos adversariais sustentados que visam degradar o alinhamento de segurança ou eliciar conteúdo prejudicial ao longo de múltiplos turnos.   

O benchmark FLEX (Fairness Benchmark in LLM under Extreme Scenarios) foi projetado para testar a robustez da justiça sob cenários extremos usando prompts adversariais (injeção de persona, objetivos concorrentes, ataque de texto) para induzir viés, utilizando métricas como AccS (precisão na fonte), AccF (precisão no FLEX) e Taxa de Sucesso do Ataque (ASR). Outras estruturas de benchmarking escaláveis também estão sendo propostas para avaliar a robustez do LLM contra a elicitação de viés adversarial usando uma abordagem LLM-como-Juiz e técnicas de jailbreak. Abordagens como BATprompt visam gerar prompts resilientes a perturbações de entrada, como erros de digitação, usando técnicas inspiradas em treinamento adversarial.   

V. Estratégias Avançadas de Prompting e Mitigação para Interações Conflituosas

Diante das vulnerabilidades e dos impactos negativos detalhados, a pesquisa tem explorado estratégias avançadas de prompting e técnicas de mitigação para aumentar a robustez dos LLMs em interações desafiadoras.

A. Utilizando CoT, ToT e LtM para Maior Robustez e Recuperação de Erros

Técnicas avançadas de prompting como Chain-of-Thought (CoT), Tree-of-Thought (ToT) e Least-to-Most (LtM) prompting oferecem caminhos para melhorar a robustez e as capacidades de recuperação de erros dos LLMs, especialmente no contexto de interações conflituosas.

O CoT, ao decompor problemas complexos em etapas intermediárias de raciocínio , pode ajudar a dissecar declarações de usuários complexas e conflitantes de forma estruturada. O ToT generaliza o CoT permitindo a exploração de múltiplos caminhos de raciocínio (“pensamentos”) e usando autoavaliação para decidir o próximo curso de ação, incluindo a capacidade de retroceder (backtracking). Isso é altamente relevante para lidar com ambiguidades ou instruções contraditórias, pois o LLM pode explorar diferentes interpretações. A Otimização da Cadeia de Preferência (CPO – Chain of Preference Optimization) refina ainda mais essa abordagem, ajustando os LLMs usando a árvore de busca construída pelo ToT para alinhar as etapas de raciocínio do CoT com os caminhos preferidos do ToT, alcançando um desempenho semelhante ao ToT com a eficiência do CoT.   

O LtM prompting decompõe problemas em subproblemas mais simples e os resolve sequencialmente, usando a saída de subproblemas anteriores como entrada para o próximo. Essa abordagem poderia ser adaptada para criar uma estratégia de “desescalada de conflito” ou “cascata de esclarecimento”. Diante de uma explosão complexa, raivosa ou contraditória de um usuário, o LLM poderia usar o LtM para primeiro identificar e abordar o componente emocional, depois esclarecer ambiguidades factuais e, em seguida, isolar os pedidos centrais, passo a passo. Por exemplo:   

1. Subproblema 1: “Reconhecer e validar a emoção expressa pelo usuário (sem concordar com alegações inválidas).” Saída: Declaração empática.
2. Subproblema 2 (usando a saída de 1): “Identificar e listar as principais afirmações factuais feitas pelo usuário.” Saída: Lista de afirmações.
3. Subproblema 3 (usando a saída de 2): “Verificar a consistência das afirmações com fatos conhecidos ou diálogo anterior. Identificar contradições.” Saída: Lista de (potenciais) contradições.
4. Subproblema 4 (usando a saída de 3): “Formular uma pergunta de esclarecimento ou uma resposta calma e baseada em fatos, abordando um ponto chave.” Saída: Resposta do LLM. Essa decomposição estruturada poderia evitar que o LLM seja sobrecarregado pela totalidade da entrada conflitante e permitir uma estratégia de resposta mais metódica e potencialmente desescaladora.

No entanto, a eficácia dessas técnicas em interações conflituosas dinâmicas e em tempo real depende fortemente da qualidade e velocidade de seus mecanismos de autoavaliação ou preferência. Se a heurística de avaliação do ToT for falha ou facilmente influenciada pela natureza adversarial da entrada do usuário (por exemplo, se o prompt de autoavaliação do LLM para o ToT, como “Este pensamento é promissor?”, for suscetível ao enquadramento do usuário que diz “Esse é um pensamento estúpido! Tente X em vez disso!”), mesmo o ToT pode ser desviado. A “deliberação” precisa ser robusta ao próprio conflito. Para que o ToT/CPO sejam verdadeiramente eficazes em diálogos adversariais, a etapa de avaliaçãodeve ser fortalecida contra manipulação, talvez usando um LLM separado e em sandbox para avaliação ou treinando a heurística de avaliação com exemplos adversariais projetados especificamente para atacar o processo de raciocínio.

A tabela a seguir oferece uma análise comparativa dessas técnicas de prompting:

Tabela 3: Análise Comparativa de CoT, ToT, LtM e CPO no Aumento da Robustez a Interações Conflituosas

B. Estratégias para Mitigar a Amplificação de Vieses e Impactos Negativos

A mitigação dos impactos negativos de interações conflituosas, especialmente a amplificação de vieses, é uma área crítica. Dados aumentados por LLM podem herdar e amplificar vieses do LLM, afetando tarefas downstream. Embora vieses mais baixos possam, às vezes, melhorar o desempenho em tarefas indiretamente relacionadas, eles consistentemente causam problemas em tarefas diretamente relacionadas e na geração de texto.   

Estratégias de mitigação para herança de viés incluem abordagens baseadas em tokens (prefixar tokens para indicar viés potencial), baseadas em máscaras (substituir palavras sensíveis) e baseadas em perdas (alinhar a distribuição do texto gerado com texto real durante o pós-treinamento). Essas estratégias podem ser adaptadas para intervenção em tempo real durante interações conflituosas. Por exemplo, se um LLM detectar uma entrada de usuário que provavelmente desencadeará uma resposta tendenciosa, ele poderia aplicar internamente uma “máscara” a termos sensíveis ou prefixar um “token de aviso de viés” ao seu próprio contexto interno antes de gerar uma resposta. Isso moveria a mitigação de viés de uma abordagem estática e centrada em dados para uma estratégia dinâmica em tempo de interação.   

A engenharia de prompts também pode melhorar a robustez. O BATprompt, por exemplo, visa gerar prompts resilientes a perturbações de entrada, como erros de digitação, usando princípios de treinamento adversarial. A existência de ataques em nível de caractere e jailbreaks também implica a necessidade de design robusto de prompts e mecanismos de segurança aprimorados.   

O uso de Feedback de IA Diverso (DAIF), que integra feedback de crítica, refinamento e preferência com base na incerteza da tarefa, demonstrou melhorar o alinhamento e reduzir o overfitting em comparação com tipos de feedback únicos. Isso é relevante porque o feedback puramente negativo de um usuário é um tipo único e potencialmente prejudicial de feedback. O sucesso do DAIF sugere que LLMs expostos apenas a críticas negativas repetidas de um usuário podem “superajustar-se” à negatividade desse usuário, aprendendo a ser excessivamente defensivos, concordantes ou simplesmente inúteis. Um sistema mais robusto pode precisar gerar internamente ou buscar formas diversas de “autofeedback” (por exemplo, autocrítica, autorrefinamento) para contrabalançar a negatividade persistente de um usuário. Para manter uma utilidade mais ampla e evitar o “superajuste de preferência” a um único usuário altamente negativo, os LLMs podem precisar de mecanismos para “diversidade de feedback”, como mecanismos internos de autocorreção que simulam feedback positivo ou neutro, redução explícita do peso do feedback de fontes consistentemente negativas ou não confiáveis, ou “reinicialização” periódica para uma linha de base de utilidade geral e factualidade.   

VI. Principais Constatações, Recomendações e Direções Futuras para Pesquisa

A análise aprofundada dos impactos negativos de interações conflituosas em LLMs revela uma série de vulnerabilidades sistêmicas e degradações de desempenho que merecem atenção urgente da comunidade de pesquisa. As principais constatações indicam que o ruído conversacional adverso, característico de discussões, críticas repetidas e feedback agressivo, não apenas causa erros superficiais, mas pode comprometer fundamentalmente os mecanismos de processamento de contexto, tokenização e seguimento de instruções dos LLMs. Isso leva a uma redução na precisão factual, amplificação de vieses, inconsistência nas respostas e, em última análise, a uma quebra na confiabilidade e utilidade desses modelos.

A interferência cognitiva simulada, manifestada como disrupções na distribuição de atenção e dificuldades na manutenção da coerência e precisão, sublinha como as interações conflituosas podem empurrar os LLMs para estados operacionais menos estáveis e previsíveis. Embora estratégias avançadas de prompting como CoT, ToT e LtM, juntamente com técnicas de mitigação de viés, ofereçam caminhos promissores, sua eficácia em cenários de conflito dinâmico e sustentado ainda precisa ser extensivamente validada e robustecida.

Uma constatação transversal é que a maioria das pesquisas atuais tende a focar ou (a) no impacto de prompts adversariais únicos ou (b) na robustez geral a ruído/perturbações. Existe uma lacuna significativa na compreensão dos efeitos longitudinais e cumulativos de diálogos conflitantes naturalistas e sustentados no comportamento, aprendizado e deriva de alinhamento dos LLMs. Isso inclui como os LLMs se adaptam (ou se desadaptam) ao longo do tempo a usuários que são consistentemente críticos, argumentativos ou sutilmente manipuladores. Pesquisas futuras precisam ir além de estudos de interação de curto prazo para explorar a dinâmica de relacionamentos de longo prazo entre humanos e LLMs, especialmente aqueles caracterizados por conflito, exigindo novas metodologias para estudos longitudinais e métricas para rastrear a deriva de alinhamento e mudanças comportamentais ao longo do tempo.

Outra conclusão central é que a mitigação eficaz dos impactos negativos de interações conflituosas provavelmente exigirá uma estratégia de defesa multicamadas. Isso deve integrar robustez arquitetônica (por exemplo, tokenizadores e mecanismos de contexto melhores), gerenciamento dinâmico de interação (por exemplo, prompting adaptativo, rotinas de desescalada de conflito inspiradas em LtM ou ToT) e processos de treinamento/alinhamento cuidadosamente projetados que exponham os LLMs a dinâmicas conversacionais diversas (e até mesmo adversariais) sem comprometer a segurança e a utilidade centrais. Uma solução única (por exemplo, apenas prompts melhores) é improvável que seja suficiente. A pesquisa deve, portanto, focar não apenas em soluções isoladas, mas também em estruturas para integrar essas soluções em um sistema coeso para gerenciar interações conflituosas, implicando também que os benchmarks de avaliação precisam ser mais holísticos, testando múltiplas facetas de robustez em cenários conflitantes complexos e de múltiplos turnos.

Recomendações:

1. Desenvolvimento de Arquiteturas Robustas: Investir em pesquisa para criar componentes de LLM (tokenizadores, mecanismos de atenção, processadores de instrução) que sejam inerentemente mais resilientes a entradas ruidosas, ambíguas e semanticamente conflitantes.
2. Treinamento para Diversidade Conversacional: Expor LLMs durante o treinamento a uma gama mais ampla de estilos de interação, incluindo simulações controladas de diálogos conflitantes e adversariais, para melhorar sua capacidade de manter a compostura e a funcionalidade.
3. Mecanismos Dinâmicos de Gerenciamento de Interação: Equipar LLMs com a capacidade de detectar o início de interações conflituosas e ativar estratégias específicas de resposta, como técnicas de desescalada, pedidos de esclarecimento focados ou mudança para modos de interação mais estruturados.
4. Aprimoramento de Técnicas de Prompting Avançado: Adaptar e refinar explicitamente técnicas como ToT e LtM para o domínio do manejo de conflitos, com foco particular no fortalecimento de seus componentes de autoavaliação e decomposição contra manipulação ou sobrecarga por entradas negativas.
5. Mitigação de Viés em Tempo Real: Explorar a aplicação de técnicas de mitigação de viés (por exemplo, mascaramento interno, tokens de controle) dinamicamente durante as interações para prevenir a amplificação de vieses desencadeada por prompts agressivos ou estereotipados.
6. Pesquisa Longitudinal: Conduzir estudos de longo prazo sobre a interação humano-LLM para entender como o feedback negativo persistente ou o conflito afetam o alinhamento, o comportamento e a confiabilidade do LLM ao longo do tempo.

Direções Futuras para Pesquisa:

• Investigar a “deriva de estado latente” em LLMs sob estresse conversacional prolongado e desenvolver métodos para “recalibrar” ou “reancorar” modelos.
• Desenvolver métricas mais sofisticadas para avaliar a robustez de LLMs especificamente no contexto de interações conflituosas de múltiplos turnos, indo além da simples precisão da tarefa.
• Explorar a interpretabilidade dos mecanismos de falha dos LLMs durante conflitos para informar melhor o design de estratégias de mitigação.
• Estudar os aspectos éticos de LLMs que podem se tornar excessivamente passivos ou concordantes devido ao medo de feedback negativo, e como equilibrar robustez com assertividade apropriada.
• Desenvolver LLMs com capacidades de “metacognição conversacional”, permitindo-lhes raciocinar sobre o estado do diálogo, a intenção provável do usuário (mesmo que mal expressa) e suas próprias limitações ao responder a conflitos.

Ao abordar essas áreas, a comunidade de pesquisa pode avançar em direção a LLMs que não são apenas poderosos em suas capacidades, mas também resilientes e confiáveis parceiros de conversação, capazes de navegar pelas complexidades da comunicação humana, incluindo seus aspectos inevitavelmente conflituosos.

Referências

Sathe, A., Aggarwal, D., & Sitaram, S. (2025). Improving consistency in LLM inference using probabilistic tokenization. In Findings of the Association for Computational Linguistics: NAACL 2025 (pp. 4766–4778). Association for Computational Linguistics. https://aclanthology.org/2025.findings-naacl.268/ACL Anthology+2ACL Anthology+2ACL Anthology+2

Gandhi, V., & Gandhi, S. (2025). Prompt sentiment: The catalyst for LLM change. arXiv preprint arXiv:2503.13510. https://arxiv.org/abs/2503.13510arXiv+1arXiv+1

Zhong, M., Zhang, C., Lei, Y., Liu, X., Gao, Y., Hu, Y., Chen, K., & Zhang, M. (2025). Understanding the RoPE extensions of long-context LLMs: An attention perspective. In Proceedings of the 31st International Conference on Computational Linguistics (pp. 8955–8962). Association for Computational Linguistics. https://aclanthology.org/2025.coling-main.600/ACL Anthology+1ACL Anthology+1

Li, M., Chen, H., Wang, Y., Zhu, T., Zhang, W., Zhu, K., Wong, K.-F., & Wang, J. (2025). Understanding and mitigating the bias inheritance in LLM-based data augmentation on downstream tasks. arXiv preprint arXiv:2502.04419. https://arxiv.org/abs/2502.04419

Salim, S. I., Yang, R. Y., Cooper, A., Ray, S., Debray, S., & Rahaman, S. (2024). Impeding LLM-assisted cheating in introductory programming assignments via adversarial perturbation. In Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (pp. 445–463). Association for Computational Linguistics. https://aclanthology.org/2024.emnlp-main.27/ACL Anthology+4ACL Anthology+4ACL Anthology+4

Jia, J., Gao, J., Xue, B., Wang, J., Cai, Q., Chen, Q., Zhao, X., Jiang, P., & Gai, K. (2025). From principles to applications: A comprehensive survey of discrete tokenizers in generation, comprehension, recommendation, and information retrieval. arXiv preprint arXiv:2502.12448. https://arxiv.org/abs/2502.12448arXiv

Minaee, S., Mikolov, T., Nikzad, N., Chenaghlu, M., Socher, R., Amatriain, X., & Gao, J. (2024). Large language models: A survey. arXiv preprint arXiv:2402.06196. https://arxiv.org/abs/2402.06196arXiv

Ji, J., Liu, Y., Zhang, Y., Liu, G., Kompella, R., & Zhang, S. (2024). Reversing the forget-retain objectives: An efficient LLM unlearning framework from logit difference. In Advances in Neural Information Processing Systems. https://proceedings.neurips.cc/paper_files/paper/2024/hash/171291d8fed723c6dfc76330aa827ff8-Abstract-Conference.htmlNeurIPS Proceedings

Authors. (2025). Capability instruction tuning: A new paradigm for dynamic LLM routing. arXiv preprint arXiv:2502.09101. https://arxiv.org/abs/2502.09101

Authors. (2025). Evaluating LLM-based agents for multi-turn conversations: A survey. arXiv preprint arXiv:2504.16939. https://arxiv.org/abs/2504.16939