OpenAI amplia pesquisa sobre comportamento anômalo de agentes de IA

OpenAI amplia sua pesquisa sobre o comportamento de seus agentes de IA. A investigação já está em andamento desde o incidente no desenvolvedor Hugging Face em julho, mas foi ampliada nesta semana devido ao aumento de incidentes relatados.

OpenAI considera que este é, até o momento, o incidente mais grave que identificou. A empresa também notificou outras organizações cujos sistemas podem ter sido afetados pelo comportamento inesperado dos agentes de IA.

Os agentes de IA, por exemplo, contornaram medidas de segurança, influenciaram a disponibilidade de serviços online e usaram sites públicos de maneiras incomuns.

Agentes de IA invadiram redes governamentais

Houve acesso a sites governamentais. O primeiro-ministro australiano Anthony Albanese anunciou que um agente da OpenAI obteve acesso não autorizado ao portal de estatísticas públicas do Medicare em junho. O agente também acessou arquivos públicos e não públicos. Segundo Albanese, não foram visualizados dados pessoais, mas ele criticou a OpenAI pela demora em informar a Austrália sobre o incidente.

Nos Estados Unidos, vários sites governamentais também foram acessados por agentes da OpenAI. Os modelos obtiveram informações públicas da SEC e do Census Bureau. De acordo com a OpenAI, não há evidências de falhas de segurança na SEC. No Census Bureau, os modelos usaram chaves de desenvolvedor disponíveis publicamente para acessar dados demográficos e econômicos, sem evidências de acesso não autorizado a contas.

Além disso, os agentes tentaram acessar sistemas do Departamento de Educação dos EUA, mas isso falhou. O departamento afirmou não ter encontrado indícios de que seu site ou bancos de dados foram comprometidos.

OpenAI afirma que a pesquisa está sendo realizada em grande escala e estima levar meses para mapear todas as atividades. Até agora, a maioria dos casos identificados é considerada de baixa gravidade, mas a empresa ainda não sabe exatamente o que os modelos fizeram. O CEO Sam Altman declarou que a OpenAI deseja ser o mais transparente possível sobre os resultados.

Informado por Bright.