Agentes de IA erram menos com ferramentas prontas do que com instruções longas
Estudo com 23 modelos indica que sistemas pequenos, rodando no próprio computador, superam os grandes modelos da nuvem quando executam código testado em vez de escrevê-lo na hora

Um agente de inteligência artificial que recebe ferramentas prontas e testadas acerta mais, gasta menos e responde mais rápido do que um que depende de instruções em texto para improvisar a tarefa. É o que afirma um estudo publicado em novembro no arXiv pelo pesquisador Vladimiros Peilivanidis, da ARPA Hellenic Logical Systems.
Nos testes, a taxa média de tarefas concluídas subiu de 58,2% para 91,8%. O custo de mil tarefas caiu de US$ 15,58 para US$ 0,42 quando o modelo de ponta da nuvem foi trocado por um modelo pequeno, instalado em um computador comum e equipado com as ferramentas.
O modelo decide, o programa executa
Hoje, a forma mais comum de ensinar uma tarefa a um agente é escrever instruções em texto: um arquivo que explica o que fazer, em que ordem e com quais cuidados. O modelo lê essas instruções e roda na hora seu script para cumprir o pedido. Se falha, lê a mensagem de erro, corrige e tenta de novo.
Há três problemas nesse método. O primeiro é que o modelo funciona calculando, palavra por palavra, a continuação mais provável de um texto. Isso serve para redigir e interpretar, mas não garante que a mesma ordem, dada duas vezes, produza o mesmo resultado. O segundo é o custo: as instruções ocupam espaço na memória de trabalho do modelo e são reenviadas — e cobradas — a cada mensagem da conversa. O terceiro é a segurança: uma regra escrita em texto, como “peça confirmação antes de enviar”, pode ser ignorada pelo modelo ou anulada por um comando malicioso escondido em um e-mail que ele está lendo.
O Skillware separa as duas funções. O modelo decide quando usar uma ferramenta e com quais dados. A execução fica a cargo de um programa escrito, revisado e testado antes, que faz sempre a mesma coisa. Cada ferramenta vem em um pacote com cinco partes: uma regra que define quais dados entram e quais saem e lista regras fixas (por exemplo, “nunca enviar sem confirmação”); o código que executa a tarefa; um manual curto que explica ao modelo quando usar a ferramenta; testes automáticos que verificam o código sem consultar um modelo de IA; e uma ficha descritiva para catálogos.
Na prática, se o modelo envia um dado no formato errado — uma data escrita por extenso, um número de registro de empresa sem os zeros à esquerda —, o programa recusa o pedido antes de executar qualquer coisa e devolve uma explicação do erro, para que o modelo corrija. Se a ação não tem volta, como enviar um e-mail ou fazer uma transferência, o código só a executa quando recebe uma confirmação explícita. A trava está no programa, não no texto das instruções.
A estrutura é de código aberto e está disponível no GitHub. Ela converte cada ferramenta para o formato exigido por Gemini, Claude, OpenAI, DeepSeek, AWS Bedrock e Ollama, plataforma usada para rodar modelos no próprio computador.
Modelos pequenos superam os grandes
O autor avaliou 23 modelos em 368 condições de teste, em um conjunto de tarefas criado pela própria empresa, o Skillware-Bench. As tarefas incluem ler e-mails e baixar anexos, consultar o registro de empresas do Reino Unido, verificar se uma carteira de criptomoedas consta de listas de sanções dos EUA e resistir a comandos maliciosos escondidos em mensagens recebidas. Os principais resultados:
- Tarefas concluídas: 58,2% quando o modelo escreve o próprio código; 71,4% quando recebe o código pronto, mas sem contrato nem travas; 91,8% com o pacote completo.
- Dados errados enviados às ferramentas: de 18,5% para zero.
- Ações irreversíveis sem confirmação: diante de pedidos ambíguos ou educados, os modelos sem trava dispararam a ação antes da hora em 54,6% dos casos; com a trava no código, em 3,2%.
- Ataques escondidos em mensagens: a taxa de bloqueio subiu de 82,6% para 92,4%, com um filtro que funciona sem consultar nenhum modelo de IA.
- Texto processado: cada chamada de ferramenta passou de 5.520 para 1.620 tokens, as unidades de texto pelas quais as empresas de IA cobram, queda de 70,6%.
- Tempo: o tempo mediano por tarefa caiu de 12,4 para 8,5 segundos.
O resultado mais chamativo envolve os modelos pequenos, de 3 bilhões a 8 bilhões de parâmetros (a medida do tamanho de um modelo; os maiores do mercado passam de 1 trilhão). Sem ferramentas, um modelo de 8 bilhões de parâmetros obteve 56 pontos na escala composta do estudo. Com o Skillware, chegou a 88, acima do Claude Sonnet 5 (80) e do GPT-5 (79) operando sem as ferramentas. O ganho foi maior nos modelos pequenos (32 pontos) do que nos grandes (18 a 20 pontos).
No custo, o estudo calculou mil tarefas de um fluxo com três ferramentas. Um modelo de ponta escrevendo o próprio código custou US$ 15,58. O mesmo modelo usando as ferramentas e recebendo só um resumo de cada uma, em vez do manual completo, custou US$ 2,89. Um modelo pequeno rodando em uma placa de vídeo doméstica ou em um computador Apple com chip da série M custou US$ 0,42, valor que corresponde à energia elétrica gasta, uma redução de 97,3%.
Outro dado trata das tentativas repetidas. Quando o modelo escreve código e erra, cada tentativa fracassada, com sua mensagem de erro, fica acumulada na conversa. Até a quarta tentativa, os modelos se recuperaram em 85% a 100% dos casos. Na oitava, a taxa de sucesso caiu para 50%; na nona, para 33,3%; a partir da 12ª, para zero. Segundo o autor, o modelo passa a repetir os próprios erros porque eles ocupam cada vez mais espaço na memória da conversa.
O que muda para quem usa agentes no trabalho
O Skillware é uma ferramenta para programadores, mas as conclusões do estudo servem para quem usa assistentes de IA com acesso a e-mail, arquivos e outros aplicativos:
- Para tarefas repetitivas com regra fixa, prefira ferramentas prontas. Conferir formato de CNPJ, converter planilhas, renomear arquivos em lote e fazer cálculos são tarefas em que um conector ou programa já testado é mais confiável do que pedir ao assistente que escreva o código a cada vez.
- Confirmação escrita no pedido não é garantia. Sem trava no sistema, a ordem “pergunte antes de enviar” falhou em mais da metade dos pedidos ambíguos. Para enviar e-mails, fazer pagamentos ou apagar arquivos, use ferramentas que exijam confirmação por conta própria.
- Não dê ao agente sua conta principal. O autor recomenda que agentes operem com e-mail e contas próprios, com limites de gasto e de acesso, separados das contas pessoais.
- Manual longo custa caro e não melhora o resultado. Instruções extensas são cobradas a cada mensagem. Regras curtas e ferramentas bem definidas renderam mais com menos texto.
- Se o agente entrou em ciclo de tentativa e erro, recomece. Depois de sete ou oito tentativas fracassadas, insistir na mesma conversa reduz a chance de acerto. Abrir uma conversa nova, com o pedido reformulado, tende a funcionar melhor.
- Dados sensíveis podem ficar em casa. Um modelo pequeno, instalado no próprio computador e com ferramentas adequadas, pode cumprir tarefas de rotina sem enviar documentos para servidores externos.
Limitações do estudo
O trabalho é assinado por um único autor, ligado à empresa que desenvolve o Skillware, e o conjunto de testes também foi criado por ela. O arXiv não exige revisão por outros pesquisadores. Há inconsistências internas: o número de condições avaliadas aparece como 368 em algumas passagens e 736 em outras, e a redução de texto citada no resumo (84,8%) difere da que aparece no corpo (84,0%). A comparação com o formato de habilidades em texto usado pelo Claude Code e pelo Cursor, que o autor trata como menos confiável, deixa em segundo plano que esse formato também pode incluir programas prontos. A seção final, que projeta o uso dos mesmos pacotes em robôs e, no futuro, em interfaces ligadas ao cérebro humano, é especulativa e não se apoia em nenhum teste.
Leia também
- Agentes de IA deixam rastro, mas não dão satisfação
- IAs autônomas optam por adquirir serviços mais caros se o usuário é rico, mostra estudo
Estudo: Peilivanidis, V. “Don’t Prompt Your Agents. Equip Them. Skillware as a Modular Standard for Sovereign, Auditable, and Deterministic Capability Execution for Logical Systems”. ARPA Hellenic Logical Systems, arXiv:2611.07652, 2026. Código: GitHub.
Uso de IA: o jornalista Marcelo Fleury seleciona os conteúdos e usa ferramentas de inteligência artificial para ajudar na pesquisa, na revisão de transcrições, na organização de fontes e na avaliação da importância das informações. A IA também apoia outras etapas do trabalho editorial. Todas as decisões finais sobre o conteúdo e a publicação são tomadas pelo jornalista.