O pesquisador de interpretabilidade Nick Cammarata, que trabalhou na OpenAI, publicou na quinta-feira (15) no site da Goodfire um ensaio com uma hipótese de trabalho sobre como os neurônios artificiais funcionam. Segundo a Exame, ele sustenta que o interior das redes neurais pode ser mais compreensível do que as evidências anteriores indicavam.
A tese mexe com uma explicação influente da área, a chamada superposição. Por essa leitura, uma rede consegue representar mais conceitos do que tem neurônios, porque cada neurônio acumula funções diferentes ao mesmo tempo. Cammarata discorda de parte desse diagnóstico.
O neurônio dos gatos e dos carros
O exemplo usado pela Exame é um neurônio que reage tanto a rostos de gato quanto a frentes de carro. Pela leitura clássica, seria um neurônio que mistura dois assuntos sem relação. Cammarata propõe outra explicação: ele pode estar detectando uma forma pontiaguda, como um V, que aparece nas duas imagens.
Se a leitura estiver certa, o que parecia bagunça seria uma função única, só mal descrita. O pesquisador argumenta que alguns exemplos clássicos de superposição foram interpretados de forma equivocada, em parte por causa das ferramentas de análise e de problemas nas arquiteturas estudadas.
Ele escreveu que "quase toda a rede é interpretável se olharmos de perto o suficiente". Para olhar de perto, defende estudar os neurônios diretamente, junto com as conexões entre eles e a forma como se desenvolvem durante o treinamento. Também usa a expressão "generalização recursiva" para descrever uma função que se expande para casos parecidos.
O que a hipótese ainda não entrega
O próprio texto da Exame ressalva os limites. A hipótese não demonstra que toda mistura de funções em qualquer modelo já esteja explicada, nem que sistemas de IA possam ser compreendidos por inteiro ou controlados. Cammarata afirma que um artigo técnico complementar vai detalhar experimentos com modelos de linguagem, o que significa que as alegações ainda aguardam teste.
A comparação mais próxima é o trabalho da Anthropic de 2024, que identificou milhões de características em uma única camada do Claude 3 Sonnet. Naquele estudo, amplificar a característica ligada à ponte Golden Gate fez o modelo citar a ponte em respostas sem relação com o tema, indício de causa e não apenas de correlação. Mesmo assim, mapear representações não explica todas as computações nem prova, por si só, que a segurança melhorou.
Por que o debate chega a quem usa IA
Para empresas e órgãos que colocam modelos em produção, a interpretabilidade é o que separaria uma auditoria de verdade de um teste de caixa-preta. Se os neurônios forem legíveis, reguladores e equipes de risco ganham um caminho para checar por que um modelo errou. Se a superposição for a regra, esse caminho fica mais estreito.
Por enquanto, a resposta depende do artigo técnico que Cammarata prometeu. Até lá, a hipótese é uma leitura alternativa, sem experimento publicado que a confirme ou derrube.
