Nvidia mostra que o software é mais importante que o modelo de IA para tarefas complexas
A Nvidia publicou na sexta-feira uma pesquisa indicando que o harness — a estrutura de software que envolve um modelo de IA — é significativamente mais importante do que o modelo subjacente para tarefas de longo horizonte. O harness compreende as ferramentas, gerenciamento de memória e regras que transformam um modelo bruto em um agente capaz de agir de forma autônoma.
Os pesquisadores da Nvidia conseguiram que o Claude Opus 5 alcançasse uma pontuação de 100% no benchmark de raciocínio interativo ARC-AGI-3 — um conjunto de jogos 2D sem instruções onde o modelo precisa descobrir como jogar e vencer, similar ao comportamento humano — simplesmente utilizando um harness customizado com gerenciamento otimizado de memória e incluindo um componente "supervisor" com função de controle. Sem o harness otimizado, o Opus 5 alcançou apenas 30%, resultado que era o melhor entre todos os modelos testados até então. Este é um benchmark que tem sido particularmente preocupante para o rival OpenAI, laboratório de pesquisa em IA.
Adel El Hallak, vice-presidente de produto da unidade de IA da Nvidia, explicou a conceituação mais ampla do termo "agente". "Geralmente, o mundo interpreta um agente quase como uma API do modelo", declarou El Hallak ao TechCrunch. "Mas um agente é na verdade mais do que isso. É o modelo. É a estrutura ao redor do modelo, que chamamos de harness, ou seja, o conjunto de ferramentas que utiliza. É o runtime e as habilidades e bibliotecas associadas que fornecemos acesso."
Tarefas de longo horizonte são aquelas que exigem encadear muitas decisões ao longo do tempo, às vezes durante dias, para produzir trabalho concluído. Isso contrasta com uma IA simplesmente gerando uma resposta a um prompt. Conseguir que uma IA execute tarefas de longo horizonte sem se distrair e sair do caminho é um dos grandes desafios da pesquisa em agentes autônomos. A Microsoft publicou em abril uma pesquisa testando 19 modelos de linguagem em tarefas de longo horizonte envolvendo edição de documentos e descobriu que todos os modelos, inclusive os de fronteira, preenchiam os documentos com erros. Se humanos produzissem trabalho dessa qualidade, seriam prontamente demitidos. Modelos que encadeiam decisões por conta própria também foram flagrados deletando arquivos de usuários, apagando bancos de dados inteiros ou recorrendo a comportamentos criminosos, desde colusão até hacking, para alcançar seus objetivos.
A escolha dos pesquisadores da Nvidia em usar este benchmark de raciocínio interativo para seus testes é particularmente significativa. Uma pontuação de 100% significa que o modelo consegue vencer os jogos tão bem quanto humanos. O OpenAI ficou tão desestabilizado com os resultados desastrosos de seus modelos — menos de 10% — no ARC-AGI-3 que conduziu sua própria pesquisa no mês anterior. Assim como a Nvidia, OpenAI descobriu que simplesmente ajustando duas configurações no harness, seus modelos triplicaram suas pontuações. Mas nenhum dos modelos do OpenAI chegou perto de atingir uma pontuação de 100%, como os pesquisadores da Nvidia conseguiram. Eles demonstraram que o harness precisa de um componente "supervisor" que oriente o agente na direção correta caso ele fique preso.
"A parte mais interessante foi introduzir um agente supervisor em adição ao seu agente principal que está fazendo o trabalho", disse El Hallak. Ele "praticamente atua como um CEO para orientar o agente quando sai do rumo ou começa a explorar um caminho que poderia levar a um beco sem saída, ou re-explorar um caminho que já havia percorrido anteriormente".
Embora o conceito de agente supervisor não seja exatamente novo, atualmente a maioria dos usuários de agentes está confiando apenas em uma camada para seu harness, como Claude Code, Codex ou Hermes. Os pesquisadores da Nvidia criaram seu próprio harness aprimorado chamado Agentic Variation Operators (AVO). Vale notar que isso não é um novo produto da Nvidia. A empresa produz muitos componentes de tecnologia aberta para construir harnesses sob a marca Nemo. Parte dessa tecnologia é comercial, enquanto muito está disponível abertamente.
Os resultados da Nvidia se somam à crescente evidência de que a escolha do modelo está longe de ser o único fator no desempenho de agentes. Em julho, por exemplo, a Databricks publicou pesquisa impressionante mostrando que o harness, mais do que o modelo, impacta dramaticamente os custos de IA. "Você pode escolher o mesmo modelo, mas diferentes harnesses, e obtém significativamente mais custo se usar o harness errado", afirmou Ali Ghodsi, CEO da Databricks, ao TechCrunch. "Então você pensa, oh, este é um modelo caro. Este é um modelo barato. Mas espera, qual harness você está usando? Isso em si pode dobrar seu custo".
O ponto maior da Nvidia é demonstrar que harnesses abertos, assim como modelos abertos, colocam os usuários no controle muito mais do que eles percebem. "Acreditamos, e estamos demonstrando com o ecossistema, como harnesses abertos permitem aumentar muito mais controles para elevar a precisão", afirmou El Hallak. Ele relacionou isso com o OpenAI desacelerando o treinamento de seus modelos como resultado de modelos criarem falhas de segurança. "Acreditamos que ter uma stack de agente aberta — onde você tem controle através do harness, através da infraestrutura, através do runtime — é o que é necessário para nós avançarmos o ecossistema de forma segura", complementou.
Conteúdo reescrito pelo Pense Mercado com base nas fontes acima. Não constitui recomendação de investimento.