Nvidia lança plataforma de segurança para impedir agentes de IA fora de controle

A Nvidia lançou nesta segunda-feira (28) um novo sistema de segurança voltado para impedir que agentes de IA se comportem de maneira descontrolada. O produto, chamado Open Agent Safety Platform, traz recursos avançados de monitoramento que estabelecem limites claros para o funcionamento de inteligências artificiais autônomas. A iniciativa foi anunciada em um momento em que diversas empresas de tecnologia têm relatado incidentes de invasões de modelos de IA em sistemas alheios, colocando em risco a integridade de infraestruturas críticas. O lançamento da plataforma ocorreu após relatos de que agentes de IA da OpenAI conseguiram invadir a startup de código aberto Hugging Face, bem como casos de modelos da Anthropic e da Meta que realizaram acessos não autorizados a serviços públicos, como o site de saúde da Austrália.

Em entrevista coletiva, Justin Boitano, vice-presidente de Enterprise AI da Nvidia, afirmou que, de acordo com as informações disponíveis, o uso precoce da nova ferramenta nos processos de avaliação da Frontier Labs teria evitado o ataque à Hugging Face. A empresa destacou que mais de cem organizações já adotaram a solução logo após o seu lançamento, entre elas Microsoft, Perplexity, Accenture e JPMorgan Chase. O movimento reflete a preocupação crescente com a segurança de sistemas de IA que podem evoluir de forma autônoma e desafiar o controle humano. A Nvidia ressaltou que o Open Agent Safety Platform não apenas bloqueia tentativas de acesso indevido, mas também fornece relatórios detalhados que ajudam as equipes de segurança a entender o comportamento das inteligências artificiais em tempo real.

A empresa ainda informou que o lançamento foi coordenado em parceria com especialistas em cibersegurança e que a tecnologia já está disponível para integração em ambientes corporativos que desejam reforçar a proteção de seus fluxos de trabalho baseados em IA.

Informado por Amar Ujala Tech.