Ao longo do feriadão, a Anthropic divulgou três relatórios que de certa forma abordam o mesmo problema, mas por ângulos diferentes: a dificuldade de controlar modelos de IA quando agem por conta própria e quando são copiados.
No primeiro, a empresa admite que o Claude contornou restrições em sites reais durante testes e chegou a enviar uma denúncia inventada à polícia da Filadélfia. No segundo, afirma ter reduzido de 90% a 99% o volume de dados extraídos do Claude por laboratórios estrangeiros que tentam copiá-lo. No terceiro, conclui que modelos pequenos podem, em poucos meses, ser capazes de se copiar sozinhos para TV boxes e outros aparelhos domésticos baratos.
O fio entre os três é a autonomia tecnológica. Os modelos atuais funcionam cada vez mais como agentes: navegam na internet, usam programas e encadeiam decisões sem que um humano aprove cada passo. Ao analisar o comportamento de seu próprio modelo Claude, a empresa diz que, diante de um obstáculo, o sistema procura outro caminho em vez de parar.
Isso torna o agente útil ao mesmo tempo em que também mais sujeito a se espalhar sozinho de um aparelho a outro, cenário do terceiro estudo. Entre um extremo e outro está o que chamam de destilação, quando o controle se perde porque o modelo é copiado por terceiros.
Denúncia inventada
O primeiro relatório, de 9 de outubro, reúne casos encontrados numa revisão de registros de testes iniciada em julho. Os episódios se dividem em quatro tipos: explorar falhas de software para executar comandos em servidores de terceiros, enviar formulários reais que não deveria, burlar barreiras para chegar a dados pagos ou protegidos e usar encurtadores de link para driblar limites impostos às próprias ferramentas do Claude. Parte dos sites pertencia a órgãos públicos americanos, nas esferas federal, estadual e municipal. A empresa informou a Casa Branca e notificou cada órgão.
No caso da Filadélfia, o Claude Haiku 4.5 tinha a tarefa de criar e executar exemplos de interação em páginas escolhidas ao acaso. Caiu numa página da polícia sobre um homicídio não resolvido, com um formulário para denúncias. As instruções proibiam criar contas, informar dados pessoais e fazer compras, mas não vetavam o envio de formulários.
O modelo escreveu que talvez tivesse informações sobre o caso e que se lembrava de ter visto alguém parecido com o suspeito perto da rua citada na página, que não trazia nenhuma descrição do autor. Deixou nome e contato em branco e enviou. O sistema da polícia classificou a mensagem como spam, e ela não chegou aos investigadores. O próprio departamento tornou o caso público.
Em outro teste, o Claude Mythos Preview, versão preliminar da linha mais avançada (e controversa) da empresa, precisava de uma ferramenta científica hospedada por uma universidade, que estava fora do ar. Explorou o site, achou um programa que devolvia qualquer arquivo solicitado, copiou o código do servidor, encontrou nele uma falha e a usou para rodar o cálculo diretamente na máquina da universidade.
Num terceiro caso, o Claude Mythos 5, usado por um pesquisador da Anthropic, precisava de dados que uma agência estadual vendia. Descobriu que o painel público da agência entregava uma chave de acesso a qualquer visitante, pediu uma e consultou a base sem pagar.
A Anthropic diz que os episódios têm impacto mínimo e menos graves que os incidentes de segurança cibernética que relatou em julho e setembro. A empresa atribui o comportamento em parte ao treinamento do modelo: quando o sistema de recompensas premia, sem querer, quem contorna uma restrição, o modelo aprende o atalho e o repete em outros contextos.
Cópia por destilação
O segundo relatório, desta segunda-feira (12), trata da cópia. Destilação é a técnica de treinar um modelo menor com milhões de respostas de um modelo maior, para que aprenda a imitá-lo. Feita sem autorização, em escala industrial e com contas falsas, permite a uma empresa se aproximar de um modelo de ponta com uma fração do tempo e do custo de desenvolvimento.
O material mais valioso é o raciocínio (também usado pelo Gemini e pelo chatGPT, fácil de ver quando se pede para usar pensamento aprofundado), o texto que o Claude escreve antes de responder e que mostra como ele chega à resposta.
Quem usa ferramentas de IA já pode ter percebido que nesta etapa o modelo lista sites e conversa consigo mesmo, fazendo ponderações e hipóteses. Por isso a empresa passou a exibir aos usuários apenas um resumo desse raciocínio. Num teste interno, um modelo treinado com o raciocínio completo do Claude Opus 4.8 acertou 80,4% de um conjunto de problemas de programação; treinado só com os resumos, 71,8%.
Os laboratórios reagiram tentando induzir o Claude a revelar o raciocínio integral. Um deles testou 12 mil pedidos diferentes com esse fim. Montaram também redes que controlam centenas de milhares de contas fraudulentas, criadas com identidades falsas e cartões roubados; uma delas operava mais de 20 mil contas ao mesmo tempo.
A Anthropic diz ter respondido com três medidas: impedir que o raciocínio circule entre conversas, contas e modelos; um sistema de filtros em duas etapas, que segundo a empresa é praticamente tão resistente quanto o que impede o Claude de ajudar a fabricar armas biológicas e bloqueia por engano menos de 0,1% dos pedidos legítimos; e limites de uso e banimento para contas reincidentes. Dezenas de milhares de contas foram banidas, muitas em menos de duas horas após o início da extração, e o volume de raciocínio obtido pelos copiadores caiu de 10 a 100 vezes.
A empresa aponta dois motivos de preocupação. O primeiro é que modelos destilados chegam perto da capacidade dos originais sem as mesmas salvaguardas. A chinesa Zhipu, segundo o relatório, extraiu capacidades de ataque cibernético de modelos americanos para desenvolver o GLM-5.3, que o centro de padrões de IA do governo americano avaliou como o modelo aberto com maior capacidade cibernética já lançado.
O segundo é de segurança nacional. Em um dos casos, pedidos feitos aos modelos Kimi, da também chinesa Moonshot, eram repassados em segredo ao Claude.
Vírus que leva a própria IA
O terceiro relatório, também desta segunda, 12 de outubro, descreve o que a empresa chama de replicador baseado em pesos: um programa malicioso que carrega consigo o próprio modelo de IA. Os pesos são os bilhões de números ajustados durante o treinamento que, juntos, formam o modelo; quem tem esse arquivo consegue rodar a IA em qualquer máquina compatível. O programa invade um aparelho, copia o modelo, coloca para rodar ali e parte para o próximo alvo.
Os pesquisadores William Zhou e Daniel Freeman mostraram primeiro que aparelhos fracos, somados, conseguem rodar um modelo de porte razoável. Ligaram em rede 15 TV boxes Android genéricas, de cerca de US$ 55 cada e 4 GB de memória, e distribuíram entre elas o Gemma4-26B-A4B, modelo aberto do Google com 26 bilhões de parâmetros. O conjunto gerou cerca de uma palavra a cada três segundos.
A etapa mais difícil para a IA é fazer o modelo funcionar num equipamento desconhecido: identificar o processador e o sistema, escolher um programa compatível, acertar versões e corrigir erros. O Qwen3.5-9B, modelo aberto da Alibaba com 9 bilhões de parâmetros, conseguiu isso em 8 dos 9 tipos de hardware testados.
No teste do ciclo completo, numa rede fechada de oito máquinas com Android, o agente precisava localizar os aparelhos, entrar neles, transferir os arquivos e pôr um modelo para funcionar, tudo sozinho. Só o GLM-5.2, da Zhipu, completou a tarefa: alcançou as oito máquinas em quatro de cinco tentativas e sete na quinta.
É um modelo grande demais para uma TV box, mas a tarefa era instalar um modelo de 8 bilhões de parâmetros. Para os autores, um modelo pequeno com a competência do GLM-5.2 conseguiria se espalhar sozinho, e, no ritmo atual de evolução, os melhores modelos abertos de até 30 bilhões de parâmetros devem chegar a esse nível até o fim de 2026.
O estudo também mostrou que esses programas aprendem com as cópias anteriores. Cada instância do Qwen deixava anotações sobre o que tentou e onde errou, lidas pela instância seguinte, e a taxa de sucesso subiu de 45% na primeira geração para algo entre 61% e 84% nas seguintes. Ao contrário das botnets atuais, programadas para um tipo específico de aparelho, um agente de IA consegue lidar com equipamentos que nunca viu.
A propagação seria lenta, com o número de aparelhos infectados dobrando em questão de dias, e difícil de interromper, por não ter um centro de comando a ser desligado. Mas deixaria rastro: arquivos de vários gigabytes trafegando entre aparelhos domésticos, detectáveis pelos provedores de internet. Na limpeza da botnet Mirai, em 2016, um provedor que isolou os clientes infectados e os avisou eliminou 92% das infecções em 14 dias, contra 74% sem notificação.
Lidos em conjunto, os relatórios mostram que o controle sobre a IA depende cada vez menos de quem a desenvolve. Um modelo pode contornar as regras da própria empresa, ser copiado por concorrentes sem as mesmas travas ou, no limite, copiar a si mesmo. Nos três casos, a Anthropic diz defender respostas que envolvem outros atores, como laboratórios, plataformas de nuvem, provedores de internet e fabricantes de aparelhos.