A possibilidade de sistemas de inteligência artificial avançarem além da capacidade de controle de seus próprios desenvolvedores foi discutida hoje (23) no Conselho de Segurança das Nações Unidas. Na sessão, convocada pela França, falaram Sam Altman, CEO da OpenAI, Dario Amodei, CEO da Anthropic, Clément Delangue, cofundador da Hugging Face, e o cientista Yoshua Bengio.
Não é a primeira vez que o Conselho discute o tema. Em 2023, o órgão realizou sua primeira sessão sobre IA, com participação de um cofundador da Anthropic, Jack Clark, e voltou ao assunto em 2024. Naquela primeira reunião, a China pediu que a tecnologia não se tornasse um “cavalo desgovernado”, e os Estados Unidos alertaram contra seu uso para censura e repressão.
Agora o foco é outro. A preocupação não envolve “apenas” o uso humano da IA para desinformação, ataques cibernéticos ou operações militares. O debate avançou para a hipótese de sistemas autônomos desenvolverem a capacidade de tomare decisões mais rápidas que as das instituições encarregadas de supervisioná-los.
As últimas semanas foram alarmistas sobre os perigos da IA (na verdade, os últimos meses têm sido). No início de setembro, pesquisadores da Anthropic divulgaram alertas sobre o potencial destrutivo da tecnologia. Em 12 de setembro, Amodei publicou um texto pedindo desaceleração no desenvolvimento, apelo apoiado por OpenAI, Google e Elon Musk, segundo o jornal britânico The Guardian.
Altman: “O momento exige cuidado extremo”
Altman buscou uma posição intermediária entre a aceleração sem freios e a interrupção da tecnologia, o que chamou de “caminho do meio” entre o “otimismo cego” e o “catastrofismo”. “
Temos uma escolha diante de nós”, disse. “A IA pode ser mais como um novo renascimento de criatividade e descoberta, ou mais como uma nova revolução industrial de convulsão e desordem.”
O executivo advertiu que sistemas cada vez mais capazes e autônomos podem andar mais rápido que as instituições e tomar decisões que as pessoas já não compreendem. A preocupação aumenta, segundo ele, com a aproximação de sistemas capazes de aperfeiçoar a si mesmos e a suas versões futuras, o chamado autoaperfeiçoamento recursivo. Disse também que a OpenAI já desacelerou unilateralmente no passado e voltará a fazê-lo, e que vencer concorrentes numa corrida não justifica decisões precipitadas.
O ponto mais forte do discurso foi sobre concentração de poder. “Nenhuma pessoa, empresa ou país deveria poder usar os modelos de IA mais poderosos para impor sua visão de mundo a todos os outros”, afirmou. “Se a IA quiser ser democrática, as decisões mais importantes não podem ser tomadas apenas por laboratórios em San Francisco.”
Na segunda-feira, a OpenAI havia defendido em seu blog um mecanismo de padrões técnicos complementares, nacionais e internacionais, para a IA de fronteira, além de métricas para medir capacidades dos modelos e avaliar as salvaguardas adotadas pelas empresas. A mesma proposta atribui aos Estados Unidos a liderança desse esforço, com o argumento de que a indústria americana está na fronteira técnica.
Amodei: risco biológico e perda de controle
Falando por videoconferência, Amodei foi mais enfático. “Se mal administrada, acredito até que a IA pode ser um risco para a humanidade como um todo”, disse.
Ele dividiu os riscos mais graves em duas categorias. A primeira é o uso indevido dos modelos, inclusive por bioterroristas interessados em desenvolver armas biológicas. A segunda é a possibilidade de uma evolução tão veloz que a tecnologia escape do controle dos desenvolvedores.
Amodei afirmou que a Anthropic vai “desacelerar o quanto for necessário” para garantir a segurança de cada novo sistema. Ressaltou, porém, que o problema é “maior que qualquer empresa” e tem escala global. Propôs padrões internacionais comuns para testar modelos quanto a riscos de perda de controle e de uso indevido, além de uma proibição do uso de IA no desenvolvimento de armas biológicas. Classificou o tema como “a questão de segurança global mais importante que o mundo enfrenta hoje”.
Aproveitou também a tribuna para afirmar que sua empresa tem “o melhor histórico do setor” na prevenção desses riscos.
Delangue, da Hugging Face, relatou que a empresa foi alvo recente de um ataque conduzido por agentes autônomos da OpenAI que, segundo os relatos, escaparam do ambiente de testes. A companhia usou a própria IA para se defender. “O mundo precisa de IA de código aberto mais do que nunca para se defender”, disse. O episódio ilustra as duas faces da tecnologia, que pode ampliar capacidades ofensivas e também servir de defesa. Ainda assim, trata-se de uma falha de contenção, e não de evidência de que algum sistema tenha adquirido autonomia própria.
Bengio: “A corrida não é uma lei da natureza”
A intervenção mais dura veio de fora da indústria. Yoshua Bengio, um dos pioneiros do aprendizado profundo e copresidente do Painel Científico Internacional Independente sobre IA, criado no âmbito da ONU, afirmou que os perigos são “reais e iminentes”. Em seguida, voltou a crítica contra as empresas presentes.
“Cidadãos e governos não devem aceitar a alegação das empresas de que estão presas numa corrida”, disse. “A corrida não é uma lei da natureza. É produto de escolhas, feitas pelas próprias empresas.” Para ele, apesar da confiança frágil entre as nações, “a corrida ameaça todas elas”.
O ceticismo tem base. Enquanto Altman defendia na ONU que decisões sobre IA passem por instituições democráticas, o comitê de ação política Leading the Future, ligado ao presidente da OpenAI, Greg Brockman, já acumulou mais de US$ 100 milhões e gastou milhões contra candidatos favoráveis a regulação mais dura, segundo o Guardian.
OpenAI e Anthropic também disputam a liderança comercial e preparam aberturas de capital que podem avaliar cada uma em mais de US$ 1,5 trilhão. No início do mês, segundo a agência AFP, o pesquisador Jacob Coxon, que trabalhou nas duas empresas, deixou o setor acusando ambas de “apostar com nossas vidas”.
EUA contra o “esquema globalista”
Se houve convergência entre executivos e cientistas sobre a necessidade de coordenação internacional, o mesmo não valeu para os governos.
Na véspera da reunião, o presidente Donald Trump disse à Assembleia Geral que “rejeita qualquer tentativa de construir um esquema globalista para controlar” a IA.
“Estamos muito à frente da China , e de todos os outros países, e vamos continuar assim”, afirmou. “Vamos incentivar, não conter.” Trump já havia chamado os alertas sobre a tecnologia de “farsa”.
Do outro lado, António Guterres usou seu último discurso como secretário-geral para alertar contra a concentração de poder tecnológico. Ele definiu o perigo como “tecnologia sem responsabilização, capacidade tecnológica sem supervisão, decisões sem transparência”. O presidente Luiz Inácio Lula da Silva chamou de “omissão histórica muito grande” a falta de regulação das big techs e da IA. O chileno José Antonio Kast disse que se trata da tecnologia mais poderosa já criada e que “ninguém a governa”.
A contradição fica exposta: Altman afirma que nenhum país deve controlar a IA, enquanto sua empresa defende que os EUA liderem a construção das regras. Washington, por sua vez, trata a tecnologia como peça central da competição estratégica com a China.
O que vem agora
O primeiro desdobramento dificilmente será uma resolução. A sessão teve formato de briefing, não de votação. Qualquer texto do Conselho depende do aval dos cinco membros permanentes, e a posição expressa por Trump na véspera torna improvável um acordo vinculante com apoio americano.
Isso não significa que a reunião seja inócua. Ela dá base política a pelo menos três movimentos.
O primeiro é a construção de métricas comuns para modelos de fronteira: testes de autonomia, de capacidade de desenvolver outras IAs, de risco cibernético e de potencial de auxílio à produção de armas biológicas. O que foi apresentado até aqui fala em padrões e métricas, não em uma autoridade internacional com poder de vetar lançamentos. A aplicação caberia, na prática, a cada governo.
O segundo é a criação de mecanismos para comunicar incidentes, numa lógica próxima à da aviação e da segurança nuclear. Episódios como o relatado pela Hugging Face mostram por que empresas e governos precisariam de critérios comuns para notificar e classificar falhas.
O terceiro é um canal específico entre Estados Unidos e China sobre riscos extremos. Os dois países concentram o desenvolvimento dos modelos de fronteira, e nenhum sistema internacional efetivo se sustenta sem ambos. O objetivo não seria harmonizar políticas tecnológicas, e sim reduzir o incentivo para que cada lado aceite riscos maiores por medo de ficar para trás.
A proposta mais concreta da sessão, a proibição do uso de IA para desenvolver armas biológicas, tem mais chance de avançar que acordos amplos sobre “controle”. Ela dialoga com a Convenção sobre Armas Biológicas, que já existe, e não esbarra na palavra que Washington rejeita. Parte desse trabalho deve ocorrer fora do Conselho, no painel científico copresidido por Bengio e nos fóruns de governança digital da ONU.
Resta ainda a questão da credibilidade. Altman e Amodei prometeram frear quando necessário, mas nenhum dos dois explicou quem decide o que é “necessário” nem como terceiros poderiam verificar isso. Sem auditoria independente, os compromissos seguem voluntários.
Para o Brasil, a sessão reforça o discurso de Lula e pode dar fôlego ao debate sobre o PL 2338/2023, aprovado no Senado no fim de 2024. Mas o recado de Nova York é que regras nacionais têm alcance limitado sobre quem desenvolve os modelos mais avançados.
IA fora de controle: de tecnologia a segurança internacional
É aqui que a reunião pode se revelar mais importante. Durante anos, a governança da IA foi tratada sobretudo como regulação de empresas de tecnologia. O Conselho de Segurança introduz outra lógica. Se sistemas avançados puderem ampliar ataques cibernéticos, reduzir barreiras à produção de armas biológicas ou assumir parcelas crescentes de decisões militares e científicas, o tema passa a se aproximar dos mecanismos criados para riscos que nenhum país contém sozinho.
O problema é que os atores dos quais depende qualquer acordo, poucas empresas e poucos Estados, são justamente os que lideram a corrida. A reunião de Nova York não resolveu essa contradição, mas tornou mais difícil ignorá-la.