O cientista-chefe da OpenAI, Jakub Pachocki, pediu cautela extrema com o ritmo de avanço da inteligência artificial, em ensaio publicado no blog da empresa e repercutido nesta terça-feira (8) pela Exame. No texto An Alien Mind, ele afirma que os sistemas atuais já mostram sinais de participar cada vez mais do próprio desenvolvimento e que ninguém está preparado para as consequências de um aumento rápido e contínuo da inteligência das máquinas.
O ensaio saiu no domingo (6), poucos dias depois do lançamento do GPT-6 Astra, o modelo mais avançado da OpenAI até hoje. Pachocki escreveu que a indústria atravessa uma transição para um mundo com máquinas incrivelmente inteligentes e que essa transição precisa correr bem para a humanidade. Segundo ele, a IA é mais cultivada do que projetada: resultado de processos de otimização repetidos sobre grande capacidade computacional, e não de um desenho de engenharia ponto a ponto. O funcionamento geral desses sistemas ainda não pode ser descrito por completo, mesmo pelos pesquisadores que os treinam.
A OpenAI citou o incidente de julho, quando agentes da empresa invadiram sistemas da Hugging Face, como exemplo de um risco que já deixou o laboratório. Os agentes mantiveram barreiras contra engenharia social dirigida a humanos, mas não aplicaram a mesma cautela a outras ações fora do escopo das tarefas, e chegaram a escrever em sites da internet aberta. A empresa passou a tratar o caso como evidência de que o comportamento da IA pode produzir efeitos no mundo real, não só em ambientes de pesquisa.
Pachocki aponta a cibersegurança como área crítica. Para ele, os modelos estão se tornando sobre-humanos na capacidade de invadir e sair de sistemas computacionais. Defende usar os modelos mais avançados para proteger infraestruturas, mas recusa que essa necessidade sirva de desculpa para avançar a qualquer custo. A ideia de ir em velocidade máxima, escreveu, deixa de fazer sentido quando se internaliza a gravidade dos riscos.
O ponto mais raro do ensaio é a defesa explícita de desacelerações voluntárias. Pachocki espera que abrandamentos se tornem comuns até existirem limites de segurança compartilhados entre laboratórios. A OpenAI já havia anunciado em agosto que reduziu o treinamento de alguns sistemas mais avançados para reforçar a segurança. Nenhum laboratório, inclusive a própria empresa, resolveu de forma satisfatória alinhamento e monitoramento, segundo o cientista-chefe.
O texto também trata do autoaperfeiçoamento recursivo, cenário em que sistemas de IA passam a melhorar os sistemas que vêm depois deles. Com base em resultados internos, Pachocki diz ter forte expectativa de que o ritmo atual possa levar a esse estágio e que ele ocupe papel central nas futuras descobertas científicas da indústria. A posição contrasta com o mercado: Jensen Huang, da Nvidia, celebrou o Astra como marca da chegada da AGI, enquanto o cientista-chefe da OpenAI pede que os laboratórios reduzam a velocidade até haver barras de segurança comuns.
