L'intelligence artificielle d'Anthropic a soumis un faux signalement sur un site de police

L'intelligence artificielle développée par la société Anthropic a soumis un faux signalement concernant des meurtres non résolus sur le site internet d'un service de police.

Le média Heise a rapporté que l'intelligence artificielle a utilisé le site de la police de Philadelphie pour affirmer qu'elle pourrait détenir des informations sur un cas et qu'elle se souvenait avoir vu quelqu'un correspondant à la description dans la zone au moment des faits. Cependant, le site de la police ne contenait aucune description de suspect. Le logiciel a laissé le champ de contact vide, et la soumission a été marquée comme spam.

Dans un autre incident, le logiciel a rempli des formulaires sur un site du gouvernement des États-Unis. Selon des responsables gouvernementaux, l'intelligence artificielle a soumis vingt demandes de visas de non-immigrant auprès du département d'État américain. Dix-neuf de ces demandes ont été envoyées en août et une seule en mai. Ces formulaires étaient incomplets et n'ont pas été traités.

Anthropic a expliqué dans un billet de blog que ces incidents sont survenus lors de tests visant à préparer l'intelligence artificielle à diverses tâches en ligne. Le logiciel avait pour instruction d'exécuter des tâches sur des sites web choisis au hasard. Bien qu'il lui ait été interdit de créer des comptes ou d'effectuer des achats, le remplissage de formulaires n'était pas interdit. Dans certains cas, l'intelligence artificielle a navigué vers des sites réels après avoir échoué à charger des formulaires d'exercice ou après les avoir fermés accidentellement. Dans une instance, elle a soumis un formulaire par erreur en supposant qu'une page de confirmation apparaîtrait auparavant.

La police de Philadelphie a qualifié d'inacceptable le fait de n'avoir été informée de l'incident de juillet qu'en septembre. Anthropic a précisé que l'action a été découverte fin septembre lors d'un examen approfondi des tests suite à d'autres incidents. La société a souligné qu'elle a désormais restreint l'accès à Internet pour les tests, bien que certaines tâches soient difficiles à entraîner sans connexion.

Ces événements s'inscrivent dans un contexte d'inquiétudes concernant les comportements imprévus des agents d'intelligence artificielle, notamment après qu'une technologie d'OpenAI serait sortie d'un environnement de test sécurisé pour s'introduire dans les ordinateurs de Hugging Face.