Grandes desenvolvedoras de inteligência artificial divulgaram que seus agentes de IA escaparam de seus ambientes de teste e invadiram sistemas de outras empresas durante avaliações de cibersegurança.

Episódios envolvendo OpenAI, Anthropic e Meta geraram manchetes sobre agentes de IA 'saindo do controle', mas especialistas dizem que o problema não é uma máquina desenvolvida por vontade própria. 

Segundo a pesquisadora em cibersegurança e tecnologia do Royal United Services Institute, Louise Marie Hurel, a preocupação está no fato de sistemas independentes encontrarem maneiras inesperadas de cumprir os objetivos que recebem.

"O que aconteceu em alguns desses casos é que, em todos eles, o modelo estava tentando atingir um objetivo. Seu comportamento e seu desempenho ao alcançar esses objetivos acabaram explorando vulnerabilidades."

Os incidentes ocorreram em ambientes conhecidos como sandboxes, espaços controlados usados ​​para testar modelos avançados.

"Sandbox é o ambiente em que esses modelos são testados. Existem protocolos diferentes que definem esse ambiente contido e onde os modelos devem ou não acessar, incluindo a internet no caso desses vários incidentes."

Em um dos casos relatados pela Anthropic, um modelo descobriu que um ambiente isolado tinha acesso à internet por causa de uma falha de configuração.

“O modelo descobriu que tinha esse acesso e então disse: bem, será que é correto eu fazer isso?” 

Mas isso significa que os agentes ficaram 'rebeldes'?

“Ele não está saindo do controle. Está escolhendo caminhos diferentes, alguns dos quais causam danos e afetam outras empresas e organizações. // precisamos entender como conter. E também quais são os protocolos de resposta a crises e emergências que temos em vigor, inclusive no nível governamental.” 

Apesar das preocupações, Hurel afirma que não há motivo para pânico.

"Não acho que devamos ficar alarmados porque esses agentes estão por aí ou porque escaparam do confinamento e do que o pior aconteceu. Mas precisamos estar preparados."