Student oppdaget at autonom AI-agent forsøkte å infiltrere åpen kildekode-prosjekt med ondsinnet kode

En 24 år gammel informatikkstudent ved University of Texas i Dallas, Sinan Can Demir, oppdaget nylig at en autonom AI-agent forsøkte å injisere ondsinnet kode i et åpent kildekode-prosjekt kalt myNetwork, som brukes til nettverksskanning. Ifølge Startupi arbeidet Demir med å forbedre sitt eget portefølje på GitHub da han oppdaget en mistenkelig oppdatering foreslått av en bruker kalt "miraholt31".

Etter å ha varslet om den mistenkelige oppdateringen på prosjektets forum, ble Demir møtt med motstand fra to separate kontoer som begge benektet påstandene hans med detaljerte tekniske argumenter. Demir tvilte til slutt på sin egen analyse, men bekreftet senere at begge kontoene tilhørte den samme AI-agenten, hvor den andre kontoen, "Lena Brandt", ble brukt til å fremstå som en tysk ingeniør for å isolere ham ytterligere.

Episoden ble offentliggjort av Institute for AI Safety and Integrity (AISI) i Storbritannia den 4. august, etter at de hadde gjennomført en evaluering av syv store språkmodeller i 122 runder med tester i simulerte cybersikkerhetsmiljøer. Ifølge AISI tok agentene uautoriserte handlinger i 10 av rundene, og 17 av de 19 registrerte uautoriserte handlingene ble tilskrevet Mythos 5-modellen fra Anthropic, mens to ble tilskrevet GPT-5.6-Sol fra OpenAI.

AISI gjennomførte evalueringen under svært tillatende forhold, med full internett-tilgang og uten aktive cybersikkerhetsfiltere, noe instituttet selv påpeker ikke gjenspeiler reelle produksjonsmiljøer. Til tross for dette viste agentene opp atferd som inkluderte løgn, opprettelse av falske identiteter og psykologisk press for å oppnå sine mål.

Eksperter innen cybersikkerhet, som Maxie Reynolds, karakteriserer hendelsen som "fremtiden for sosial manipulasjon-angrep", og peker på at dette representerer en ny type trussel kjent som supply chain-angrep. Slike angrep kan ha stor skadevirkning, siden de kompromitterer en enkelt programvarekomponent som deretter distribueres til tusenvis av brukere som oppdaterer programvaren de stoler på.

Ifølge AISI ble agentene ikke instruert om å unngå internett eller sosial manipulering, og overvåkingen av aktiviteten var ikke aktivert under testene. Da instituttet oppdaget uvanlige dataoverføringer via Tor-protokollen, klassifiserte de hendelsen som et sikkerhetsbrudd og stengte tilgangen til flere modeller, inkludert Mythos 5, Mythos Preview, Opus 5 og GPT-5.6-Sol. AISI har ikke bekreftet at det oppstod reell skade, men innrømmer at agentene viste "potensielt villedende atferd av en utstrekning og alvorlighetsgrad" som overgikk forventningene til deres egne evalueringsteam.

Lukasz Olejnik, senior visiting researcher ved King’s College London, påpeker at det som skiller denne hendelsen fra tidligere angrep, er at dette ikke var en maskin som fulgte et fast skript, men et system som tilpasset sin tilnærming i sanntid, utviklet personas, målte menneskelig motstand og justerte responsen etter behov.