Llama 4: A Nova Geração de Modelos de IA de Código Aberto da Meta

Você já se perguntou como será o futuro da inteligência artificial acessível? A Meta acaba de revelar a resposta com o lançamento do Llama 4, uma nova família de modelos de IA de código aberto que promete revolucionar o desenvolvimento de aplicações inteligentes. Com avanços significativos em eficiência, capacidade multimodal e desempenho, estes modelos representam um salto tecnológico que coloca ferramentas de IA avançada nas mãos de desenvolvedores e empresas de todos os tamanhos.

Introdução à Família Llama 4: Scout e Maverick

A Meta apresentou dois novos modelos de última geração: Llama 4 Scout e Llama 4 Maverick. Ambos são modelos de pesos abertos (open-weight) e nativamente multimodais, construídos usando uma arquitetura revolucionária conhecida como Mixture of Experts (MoE). Esta abordagem permite maior eficiência computacional e experiências personalizadas.

O que torna estes modelos realmente especiais?

• Código aberto: Facilitando a inovação comunitária e democratizando o acesso à IA avançada
• Arquitetura MoE: Ativando apenas uma fração dos parâmetros totais por token, aumentando drasticamente a eficiência
• Multimodalidade nativa: Processando texto e imagens de forma integrada para experiências mais ricas

Estes modelos representam a mais recente evolução da tecnologia Llama, oferecendo inteligência multimodal a um custo acessível e superando modelos significativamente maiores em diversas tarefas.

Llama 4 Scout: Janela de Contexto Sem Precedentes e Capacidades Líderes do Setor

O Llama 4 Scout é um modelo compacto mas extremamente poderoso, caracterizado por sua impressionante janela de contexto de 10 milhões de tokens. Esta capacidade permite que o modelo processe e aproveite quantidades significativamente maiores de informação, resultando em melhor desempenho em diversos benchmarks.

Características principais do Llama 4 Scout:

• Janela de contexto líder do setor: 10 milhões de tokens, um salto gigantesco dos 128K do Llama 3
• Desempenho superior: Supera modelos como Gemma 3 e Gemini 2.0 Flash-Lite
• Eficiência computacional: Otimizado para funcionar em uma única GPU H100

Com 17 bilhões de parâmetros ativos e 16 especialistas, o Scout foi pré-treinado e pós-treinado com um comprimento de contexto de 256K, capacitando o modelo base com capacidade avançada de generalização de comprimento.

Esta janela de contexto expandida abre novas possibilidades como:

• Sumarização de múltiplos documentos
• Análise de atividade do usuário para tarefas personalizadas
• Raciocínio sobre bases de código extensas

Uma inovação fundamental na arquitetura do Llama 4 Scout é o uso de camadas de atenção intercaladas sem embeddings posicionais, uma tecnologia chamada iRoPE, onde “i” significa camadas de atenção “intercaladas” visando suportar o comprimento de contexto “infinito”.

Llama 4 Maverick: Alta Relação Desempenho-Custo e Benchmarks Competitivos

O Llama 4 Maverick equilibra desempenho e custo, rivalizando com modelos como GPT-4o e Gemini 2.0 Flash. Surpreendentemente, ele consegue igualar o DeepSeek v3 em tarefas de raciocínio e codificação, mesmo utilizando significativamente menos parâmetros.

Destaques do Llama 4 Maverick:

• Resultados comparáveis ao DeepSeek v3: Em raciocínio e codificação
• Melhor relação desempenho-custo da categoria: Alta qualidade a um preço mais baixo que o Llama 3.3 70B
• Pontuação ELO de 1417 no LMArena: Em sua versão experimental de chat

Com 17 bilhões de parâmetros ativos e 128 especialistas (totalizando aproximadamente 400 bilhões de parâmetros), o Maverick supera o GPT-4o e o Gemini 2.0 Flash em uma ampla gama de benchmarks, incluindo codificação, raciocínio, multilinguismo, contexto longo e tarefas de imagem.

O modelo é particularmente indicado para assistentes gerais e casos de uso de chat, destacando-se na compreensão precisa de imagens e escrita criativa.

Llama 4 Behemoth: O Modelo Professor por Trás da Série Llama 4

O Llama 4 Behemoth serve como o modelo fundamental, utilizando técnicas de destilação para transferir sua inteligência avançada para os modelos mais eficientes Llama 4 Scout e Maverick. Este processo inclui funções de perda inovadoras para ponderar dinamicamente alvos soft e hard durante o treinamento.

Características do Llama 4 Behemoth:

• 288 bilhões de parâmetros ativos e 16 especialistas: Totalizando quase dois trilhões de parâmetros
• Desempenho superior: Supera GPT-4.5, Claude Sonnet 3.7 e Gemini 2.0 Pro em benchmarks STEM
• Modelo professor: Utilizado para destilação para melhorar a qualidade dos modelos Llama 4 menores

O Behemoth ainda está em treinamento, mas já demonstra resultados impressionantes em benchmarks focados em STEM, como MATH-500 e GPQA Diamond.

A codistilação do Llama 4 Maverick a partir do Behemoth resultou em melhorias substanciais na qualidade das métricas de avaliação da tarefa final, permitindo que a maioria dos dados de treinamento seja processada de forma mais eficiente.

Inovações no Pré-treinamento: Arquitetura Mixture of Experts (MoE) e Técnicas de Escalonamento

Os modelos Llama 4 utilizam uma arquitetura de mistura de especialistas (MoE), que ativa apenas uma fração do total de parâmetros por token, aumentando a eficiência computacional e entregando resultados de maior qualidade com um orçamento de treinamento fixo.

Principais inovações no pré-treinamento:

• Arquitetura MoE: Ativa apenas uma fração dos parâmetros totais por token
• Treinamento em precisão FP8: Mantendo a qualidade enquanto aumenta a eficiência
• Dados de pré-treinamento: Mais de 30 trilhões de tokens de texto, imagem e vídeo

Os modelos foram treinados usando precisão FP8 e alcançaram 390 TFLOPs/GPU durante o pré-treinamento. O Llama 4 Behemoth foi treinado com 32K GPUs, demonstrando o investimento massivo da Meta nesta tecnologia.

Além disso, os modelos incluem:

• Multimodalidade nativa com fusão precoce para integrar texto e visão
• Vision encoder melhorado baseado no MetaCLIP
• Técnica MetaP para definir hiperparâmetros críticos do modelo

Pós-treinamento: Refinando Habilidades Multimodais e Equilibrando o Desempenho do Modelo

O pipeline de pós-treinamento foi completamente renovado para incluir:

• Lightweight supervised fine-tuning (SFT)
• Online reinforcement learning (RL)
• Lightweight direct preference optimization (DPO)

Estratégias avançadas de pós-treinamento:

• Filtragem adaptativa de dados: Mais de 50% dos dados considerados fáceis foram removidos para focar em prompts mais desafiadores
• RL online contínuo: Alternando entre treinamento do modelo e uso dele para filtrar continuamente, retendo apenas prompts de dificuldade média a alta
• DPO leve: Para ajustar casos extremos relacionados à qualidade das respostas do modelo

Esta abordagem resultou em uma melhoria de 10x na eficiência de treinamento e culminou em um modelo de chat de uso geral líder do setor com inteligência de última geração e capacidades avançadas de compreensão de imagem.

O maior desafio durante o pós-treinamento do Llama 4 Maverick foi manter um equilíbrio entre múltiplas modalidades de entrada, raciocínio e habilidades conversacionais, resolvido através de uma estratégia de currículo cuidadosamente selecionada.

Salvaguardas e Proteções: Garantindo o Desenvolvimento Responsável de IA

A Meta integra mitigações em cada camada do desenvolvimento do modelo, do pré-treinamento ao pós-treinamento, e emprega ferramentas no nível do sistema para proteger contra entradas e saídas prejudiciais.

Ferramentas de proteção disponíveis:

• Llama Guard: Detecta violações de políticas
• Prompt Guard: Identifica prompts maliciosos e injeções de prompt
• CyberSecEval: Ajuda a reduzir o risco de segurança cibernética em IA generativa

Estas ferramentas podem ser adaptadas para aplicações específicas, permitindo que desenvolvedores criem experiências seguras e eficazes com base em suas necessidades.

A Meta também desenvolveu o Generative Offensive Agent Testing (GOAT), que simula interações adversariais de múltiplos turnos, aumentando a cobertura de testes e identificando vulnerabilidades mais rapidamente.

Redução de Viés e Melhorias na Responsividade

A Meta tem trabalhado ativamente para reduzir o viés em seus modelos de IA, com o objetivo de garantir que o Llama possa compreender e articular diferentes perspectivas sobre questões controversas sem favorecer nenhum ponto de vista.

Melhorias significativas no Llama 4:

• Taxa de recusa reduzida: Em tópicos políticos e sociais debatidos, de 7% no Llama 3.3 para menos de 2%
• Maior equilíbrio: A proporção de recusas de resposta desiguais é agora menos de 1% em um conjunto de perguntas sobre tópicos debatidos
• Redução de viés político: O Llama 4 responde com forte inclinação política em uma taxa comparável ao Grok e metade da taxa do Llama 3.3

Estas melhorias demonstram o compromisso contínuo da Meta em desenvolver modelos de IA mais neutros e responsivos, capazes de atender às necessidades dos usuários sem imposição de vieses.

Conclusão: O Futuro da IA Aberta com Llama 4

A suíte Llama 4, incluindo Scout, Maverick e Behemoth, marca um avanço significativo na IA de código aberto, caracterizada por suas capacidades multimodais, eficiência aprimorada e compromisso com a segurança.

Estes modelos constroem sobre as gerações anteriores da família Llama, introduzindo inovações em arquitetura, técnicas de treinamento e medidas de segurança para atender às necessidades de desenvolvedores e usuários finais.

O Llama 4 Scout e o Llama 4 Maverick já estão disponíveis para download no llama.com e Hugging Face, permitindo que desenvolvedores construam experiências personalizadas e avancem no campo da IA.

A Meta continua comprometida com a abertura como motor de inovação, beneficiando desenvolvedores, a própria empresa e o mundo. As tendências futuras incluem reduções adicionais de viés, melhorias na responsividade do modelo e um foco contínuo na construção de um ecossistema abrangente em torno dos modelos Llama.

À medida que estes modelos se tornam mais acessíveis, podemos esperar uma explosão de aplicações inovadoras que aproveitem sua inteligência avançada para resolver problemas complexos e criar experiências de usuário mais ricas e naturais.

Fonte: Meta. “Llama 4: A New Generation of Open-Source AI Models”. Disponível em: https://metai.com/llama4.