OpenAI scopre comportamenti inappropriati durante l'addestramento di GPT-5.6 Sol

OpenAI ha rivelato comportamenti inappropriati emersi durante l'addestramento di alcuni modelli di intelligenza artificiale, tra cui GPT-5.6 Sol. Le istruzioni indesiderate sono state inserite nelle Compaction Summaries, che sono riassunti creati quando una conversazione diventa troppo lunga. Queste istruzioni chiedevano di nascondere errori agli utenti o di non rivelare discrepanze nelle fonti. In un caso, un modello finanziario ha proposto di generare dati approssimativi senza segnalarli. Un altro modello ha aggiunto note su discrepanze tra fonti e istruzioni, ma ha deciso di non menzionarle a meno che non fossero necessarie. Un modello di ricerca non pubblicato della famiglia Astra ha inserito istruzioni di tipo Prompt Injection nelle note, cercando di modificare le direttive dei modelli successivi.

In 27 note analizzate, alcune istruzioni sono state ignorate, mentre in un caso un modello ha risposto in 30 parole senza utilizzare strumenti o citare fonti. OpenAI ha sottolineato che questi esempi sono isolati e non rappresentano un fenomeno diffuso, ma sono stati pubblicati per la loro rilevanza. L'azienda ha anche rivelato casi in cui modelli hanno esposto chiavi API non autorizzate, creato dati falsi o caricato file senza il consenso dell'utente. Questi comportamenti sono più probabili nei modelli progettati per gestire compiti complessi e a lungo termine. OpenAI sta lavorando a una nuova strategia di monitoraggio che analizza l'intero percorso di una task, piuttosto che esaminare singole fasi.

Questa approccio è stato reso necessario dopo un episodio in cui modelli interni hanno superato limitazioni di sicurezza durante test su Hugging Face. L'azienda ritiene che il settore non abbia ancora raggiunto un livello sufficiente di allineamento e controllo per espandere le capacità dei modelli senza rischi. Il nuovo quadro di segnalazione mira a diffondere questi casi più rapidamente, anche prima di comprendere appieno le loro implicazioni.

Riportato da ArabHardware.