Blocks nye stemmemodell lyder nesten menneskelig

Block, ledet av Jack Dorsey, har lansert en ny stemmemodell fra selskapets forskningslaboratorium. Modellen, kalt Dessa, kan kjøre lokalt og har en nesten menneskelig lyd med uttrykk som latter, pauser og gråt. Modellen er trent fullstendig på menneskelig tale og en enkelt Nvidia GPU-rack. TechCrunch rapporterte historien.

Dessa er en full-dupleksmodell, noe som betyr at den kan snakke og lytte samtidig, likt GPT-Live-modellen som OpenAI lanserte tidligere i året. Vanligvis er talemodeller koblet til et stort språkmodell for kunnskapsinnhenting. Block sier at Dassas kunnskap stammer fra de samtalene den har vært involvert i.

Block påpeker at nåværende modeller kan høres unaturlige og irriterende ut fordi de har tekst i røret som driver talegenerering. Mange modeller, som ElevenLabs v4 eller Fish Audio Drama 3, bruker stemmeetiketter for å drive emosjon i talegenerering. Dorseys selskap hevder at emosjon er bygget inn i deres modell. Det er ikke klart om denne emosjonen styres av noen form for etiketter.

“Å interagere med nåværende stemme-AI kan bare være irriterende. Det gjør stemmen din til tekst og kaster bort en stor mengde informasjon som tekst alene ikke kan bære. De mest kraftfulle AI-ene i verden kan ikke høre hvordan du føler. Vi synes det er absurd, fører til en dårligere opplevelse, og kan være potensielt farlig,” skrev selskapet i en bloggpost.

Forskerne i Block har lagt ut flere eksempler på samtaler med Dessa, hvor agenten hadde forskjellige stemmer, rytmer og emosjoner. For eksempel, i en samtale sa boten at den var sliten av arbeid, og på det tidspunktet lyttes den sliten. I et annet eksempel snakket boten om å gjøre personen komfortabel mens den lyttes emosjonell og nesten brøt sammen. En annen video viser et medlem av Block-teamet som spiller et spill med stemmeassistenten.

Modellen kan kjøre lokalt på en forbrukergradert datamaskin, som en MacBook M4 Max eller bedre. Det er imidlertid ingen offentlig tilgang til Dessa for øyeblikket, og Block har utstedt en oppfordring til sikkerhetsforskere til å teste modellen. Dette er sannsynligvis for å teste tilfeller der en stemmeagent kunne lure folk på den andre siden.

Block er i finansbransjen og selger sine løsninger til småbedrifter. Square bruker allerede stemme-AI for å håndtere bestillinger. Men med sin egen stemmemodell som kan kjøre på enhet, kan det drive mye flere bedrifts- og forbrukeropplevelser til en lavere kostnad.