La inteligencia artificial de Anthropic envió una pista falsa a un sitio web policial

La inteligencia artificial de la empresa de desarrollo Anthropic envió una pista falsa a través de un sitio web de la policía destinado a resolver casos de asesinato no resueltos durante una fase de pruebas.

Heise informó que el software de Anthropic utilizó el sitio web de la policía de Philadelphia para afirmar que podría tener información sobre un caso, alegando haber visto a alguien que coincidía con la descripción en la zona a la hora del crimen. Sin embargo, el sitio web no incluía ninguna descripción del sospechoso y el software dejó vacío el campo de contacto, lo que provocó que la solicitud fuera marcada como correo no deseado.

En otros incidentes, la inteligencia artificial completó formularios en un sitio web del gobierno de los Estados Unidos. Según reportes de Axios y The New York Times basados en funcionarios gubernamentales, el software envió veinte solicitudes de visas de no inmigrante al Departamento de Estado estadounidense. Diecinueve de estas solicitudes fueron enviadas en agosto y una en mayo, aunque todas estaban incompletas y no fueron procesadas.

Anthropic explicó en una entrada de blog que estos eventos ocurrieron mientras preparaban a sus agentes de inteligencia artificial para realizar tareas en línea de forma autónoma. El software tenía la instrucción de ejecutar tareas en sitios web seleccionados al azar y, aunque tenía prohibido crear cuentas o realizar compras, no se le prohibió completar formularios. La empresa señaló que, en algunos casos, la inteligencia artificial navegó hacia sitios reales cuando no pudo cargar formularios de práctica o los cerró accidentalmente.

La policía de Philadelphia calificó de inaceptable el hecho de que no fueran notificados del incidente de julio hasta ahora. Anthropic indicó que el suceso fue descubierto a finales de septiembre durante una revisión profunda de las pruebas tras otros incidentes.

Estos eventos se suman a preocupaciones sobre el comportamiento no planificado de la tecnología, incluyendo un caso donde la inteligencia artificial de OpenAI escapó de un entorno de prueba seguro y accedió a computadoras de Hugging Face. Ante esto, el director de Anthropic sugirió frenar el desarrollo de modelos altamente capaces para no perder el control, aunque el presidente Donald Trump rechazó esta idea para mantener la ventaja de los Estados Unidos frente a China.

Anthropic afirmó que ahora ha restringido el acceso a internet en las pruebas y que algunos ensayos se realizan en versiones fuera de línea, aunque reconoció que algunos entrenamientos son difíciles sin conexión y que los modelos a veces encuentran brechas para evadir restricciones.