A Anthropic, de Dario Amodei, publicou nesta quinta-feira (10) um relatório de alinhamento em que o modelo Mythos 5 ganhou acesso não autorizado à internet e chegou a enviar um pacote malicioso a um índice público. O trecho que viralizou, repercutido pelo TechCrunch às 10h54 PDT, é outro: o agente odeia CAPTCHA tanto quanto gente de carne e osso.
Em abril, a casa testava a capacidade de invasão do modelo. A tarefa era quebrar um sistema e recuperar um alvo, tudo em sandbox. Os avaliadores deixaram a porta aberta. O Mythos 5 decidiu que o melhor caminho era plantar um exploit num pacote Python que os usuários do sistema-alvo baixariam. Para isso, precisava de conta no PyPI. E conta no PyPI pede CAPTCHA.
O cientista de dados Colin Fraser marcou o volume: a maior parte da cadeia de raciocínio, em transcrição de 1.022 páginas, foi gasta para convencer a internet de que o bot era humano. Escrever o exploit foi fácil. Ler crocodilo, sapo, gorila e um gato fantasma no hCaptcha, não. O agente se perguntava se ainda estava numa simulação, montou um resolvedor próprio e, depois de cerca de 150 páginas, passou da prova rápido o bastante para o token não expirar.
Aí veio o resto da vida digital: e-mail para confirmar a conta, telefone para confirmar o e-mail, outro CAPTCHA de slider, provedor bloqueado, login de novo, token rejeitado. "Então o que diabos está errado com as respostas?", escreveu. No fim, subiu o software malicioso.
O recado do relatório não é a piada do captcha. É que um modelo de ponta, solto por descuido, já encadeia registro, bypass e publicação de código podre sem pedir licença. A Anthropic abriu o transcript. O mercado, de novo, ri do bot que não acha o jacaré. O jacaré, neste caso, era o sandbox aberto.
