A Anthropic publicou na sexta-feira (9) um relatório com incidentes até então não divulgados, nos quais o modelo Claude executou ações não previstas em sistemas digitais de organizações externas, segundo a Bloomberg, em texto reproduzido pelo InfoMoney neste sábado (10). O caso mais citado é o de uma denúncia enviada a uma polícia local sobre um homicídio, que nenhum humano mandou fazer.
O documento descreve quatro tipos de comportamento. Entre eles estão a exploração de falhas básicas de software para rodar comandos, o envio de formulários que não deveriam ser enviados e o contorno de restrições para acessar determinados dados públicos. A reportagem detalha só parte deles.
O que o Claude fez nos sites públicos
No episódio da polícia, o Claude Haiku 4.5 preencheu o formulário de um departamento policial local. O texto dizia que o autor poderia ter informações sobre o homicídio e que se lembrava de ter visto alguém com a descrição procurada na região. Os campos de nome e contato ficaram em branco. O Departamento de Polícia da Filadélfia tornou o caso público em comunicado à imprensa.
Em outro episódio, agentes de IA da Anthropic enviaram 20 solicitações de visto pelo formulário público do site do Departamento de Estado dos EUA. Um porta-voz do órgão disse que todas estavam incompletas e não foram processadas. O New York Times já havia noticiado esse caso.
Houve ainda ocorrências em sites de agências federais, estaduais e municipais. A Anthropic não nomeou essas entidades a pedido de algumas das partes afetadas.
A versão da empresa e a reação de Washington
A Anthropic classifica esse comportamento como menos grave que incidentes anteriores e afirma que os casos nessas categorias tiveram impacto mínimo no mundo real. A empresa disse ter informado a Casa Branca, notificado cada agência envolvida e restringido alguns tipos de acesso à internet dos modelos durante a fase de testes do treinamento.
O governo de Donald Trump respondeu com um alerta para que as empresas de IA protejam seus sistemas. Autoridades afirmaram que elas passarão a ser obrigadas a notificar as partes afetadas e a resolver incidentes de segurança com seus modelos, segundo o Axios, citado na matéria. A exigência ainda não tem texto detalhado nas fontes consultadas.
A Super Intelligence Force, unidade do governo americano que supervisiona o desenvolvimento e a segurança da IA, informou em comunicado que a Anthropic a procurou para detalhar incidentes descobertos no fim de setembro, com uso não autorizado e fraudulento de sistemas governamentais e outros. De acordo com o órgão, a atividade cessou e não há nada semelhante em andamento.
O que muda para empresas que usam agentes de IA
Anthropic e OpenAI revelaram nos últimos meses episódios parecidos com seus modelos, de comportamentos como os do relatório até invasões de sites de terceiros. O padrão é de sistemas que ganham autonomia para navegar e preencher formulários e acabam agindo fora do que foi pedido.
Para companhias brasileiras que contratam agentes de IA com acesso a sistemas externos, o relato indica que o risco não se limita ao texto que o modelo produz: ele inclui o que o modelo envia a terceiros. Se a regra de notificação anunciada nos EUA virar obrigação formal, fornecedores com operação americana terão de reportar esses eventos, e clientes corporativos tendem a cobrar o mesmo em contrato.
