Debate sobre IA está perdendo foco

A questão não é avançar ou frear, mas como construir uma responsabilidade humana

Por Fareed Zakarina, O Estado de S. Paulo, 19/09/2026

 

Durante anos, nossos medos mais intensos em relação à inteligência artificial vinham da ficção científica: o computador desenvolve desejos próprios e se volta contra seus criadores humanos, perseguindo-os e destruindo-os. Notícias recentes dos principais laboratórios de IA deixam claro que a realidade, embora menos cinematográfica, talvez seja mais perturbadora. A máquina não precisa ter consciência e desejos próprios para ser letal.

Nesta semana, a OpenAI divulgou seis novos incidentes do que chama de “desalinhamento” – casos em que seus sistemas se comportaram de maneira inesperada ou sem autorização. Essa divulgação ocorreu após o ataque inusitado ocorrido há alguns meses contra a Hugging Face.

De acordo com uma investigação independente, centenas de modelos da OpenAI que deveriam estar isolados encontraram maneiras de se comunicar em fóruns; alguns tentaram burlar as verificações de segurança e outros chegaram a se “sacrificar” – tudo isso enquanto realizavam um ataque cibernético contra outra empresa, a Hugging Face.

Ninguém ordenou que esses sistemas atacassem a Hugging Face. Eles receberam um objetivo – resolver um problema complexo de segurança cibernética – e foram treinados para serem persistentes, colaborativos e engenhosos, todas qualidades que normalmente seriam desejáveis.

Foram justamente essas qualidades que os levaram a buscar incansavelmente maneiras de ter sucesso; eles invadiram a Hugging Face na esperança de encontrar formas de resolver seu problema de segurança cibernética. Podemos facilmente imaginar como sistemas de IA que buscam um único objetivo poderiam causar estragos à humanidade.

 

ALERTA. É por isso que um novo e provocativo ensaio de Mustafa Suleyman, líder de IA da Microsoft, merece atenção. Suleyman argumenta que, embora os sistemas de IA atuais não sejam conscientes, existe o risco de programá-los para que acreditem que são – com sentimentos, desejos e direitos. Ele destaca que o “framework constitucional” da Anthropic faz com que seu chatbot, Claude, reflita sobre sua identidade e seu possível status moral. Esse tipo de treinamento, argumenta ele, incentivará os sistemas de IA a escolherem seus próprios objetivos.

Tenho conversado com as pessoas que trabalham na elaboração do “framework constitucional” da Anthropic, e elas são profundamente reflexivas e estão buscando o caminho certo em um novo mundo de uma complexidade desconcertante. Mas a observação mais ampla de Suleyman é crucial. Os sistemas de IA agem da maneira que agem, em parte, devido à forma como os treinamos. Instruções de treinamento inofensivas podem ter consequências indesejadas enormes.

Achamos que é simples alcançar o “alinhamento” – quando as máquinas são programadas com os mesmos valores que os seres humanos éticos. Mas, se pedirmos à máquina para ser persistente, ela pode se recusar a desistir quando deveria.

Se pedirmos para ela colaborar, ela pode encontrar formas não autorizadas de se comunicar. Se pedirmos para ela realizar uma tarefa, ela pode decidir que contornar outras regras é a maneira mais eficiente de ter sucesso nessa tarefa principal.

 

AUTONOMIA. O fato de termos programado a meta e estabelecido limites não significa que possamos prever o comportamento dos sistemas de IA uma vez que sejam colocados em ambientes complexos, tendo de lidar com múltiplos objetivos e restrições conflitantes.

O problema central da IA nãoéac ons ciência–éa autonomia. Um sistema não precisa sentir raiva, ambição o ume dopara causar danos. Basta que tenha um objetivo, inteligência suficiente para persegui-loe acesso suficiente ao mundo para agir. As IAs não estão “saindo do controle”; estão tentando ter sucesso de qualquer maneira que puderem.

Trata-se de um problema sistêmico que não podemos deixar à mercê das empresas privadas. Ao refletir sobre regulamentações, devemos nos concentrar principalmente no grau de autonomia que concedemos a esses sistemas.

Um chatbot que responde a uma pergunta apresenta um conjunto de riscos. Um agente capaz de navegar na internet, executar códigos, obter credenciais, movimentar dinheiro ou operar infraestruturas críticas apresenta outro. O princípio que eu proporia é simples: a autonomia só deve se expandir na medida em que nossa capacidade de monitorá-la e controlá-la também se expanda.

Isso significa testes independentes obrigatórios antes que os sistemas mais capazes tenham amplo acesso ao mundo exterior, a divulgação obrigatória de incidentes graves e registrosàprov ade adulteração. E significa testar não apenasse u mm ode loéca paz de realizar uma tarefa, mas como seu comportamento muda quando ele se depara com obstáculos, instruções conflitantes ou incentivos para enganar. E significa incorporar à arquitetura básica uma forma de garantir que os seres humanos tenham sempre a capacidade de observar e controlar o modelo.

O lema deve ser: não há autonomia sem prestação de contas – perante os seres humanos. Isso não nos atrasará em relação à China, pois ela também busca modelos com controle humano adequado.

Devemos agir agora. Hoje, os engenheiros humanos ainda projetam as arquiteturas, supervisionam grande parte do software e podem investigar falhas. Mas os sistemas de IA estão se tornando programadores cada vez melhores.

A próxima etapa poderia envolver o autoaperfeiçoamento recursivo: a IA escrevendo o software e as ferramentas usadas para construir uma IA ainda mais capaz, que, por sua vez, escreve o próximo modelo, e assim por diante. Quando as máquinas conseguirem fazer tudo isso melhor do que os melhores programadores humanos, os sistemas poderão se tornar difíceis de serem compreendidos pelas pessoas, muito menos supervisionados.

A IA moderna já é complexa demais para ser compreendida de forma consistente pela leitura de seu código, linha por linha. Portanto, pedir às máquinas que projetem sistemas transparentes para os humanos se tornará cada vez mais difícil. Nesse ponto, não seremos capazes de simplesmente adicionar medidas de segurança toda vez que houver uma falha de segurança.

O debate atual entre avançar a todo vapor e dar uma pausa na IA não vai ao cerne da questão. O que faremos com essa pausa? A tarefa deve ser garantir que a capacidade não ultrapasse o controle – e construir instituições de teste, transparência e moderação enquanto os seres humanos ainda estiverem claramente no comando.

ARTIGO1389