Block släpper röstmodell som låter mänskligt

TechCrunch rapporterar att Jack Dorseys bolag Block har lanserat ett nytt röstmodell kallat Dessa. Modellen kan köras lokalt på en enhet och låter mänskligt med uttryck som skratt, pauser och gråt. Bolaget säger att modellen är tränad helt på mänskligt tal med hjälp av ett enda Nvidia GPU-rack.

Dessa är en full-duplex-modell, vilket innebär att den kan prata och lyssna samtidigt, precis som OpenAIs GPT-Live-modell som släpptes tidigare i år. Vanligtvis kräver röstmodeller ett stort språkmodell för kunskapshämtning. Block säger att Dessa:s kunskap kommer från den konversationella data den har tränats på.

Bolaget påpekar att nuvarande modeller kan låta onaturliga och irriterande eftersom text finns i pipelinen som driver talgenerering. Många modeller som ElevenLabs v4 eller Fish Audio Drama 3 använder röstetiketter för att driva emotion i talgenerering. Block hävdar att emotion är inbyggt i sin modell, men det är oklart om emotion styrs av några sådana etiketter.

"Att interagera med nuvarande röst-AI kan bara vara skräp. Det omvandlar din röst till text och kastar bort en otrolig mängd information som text ensam inte kan bära. Världens mäktigaste AI:er kan inte höra hur du mår. Vi tycker att det är absurt, leder till en sämre upplevelse och kan potentiellt vara farligt", sade bolaget i ett blogginlägg.

Bolagets forskare publicerade flera exempel på samtal med Dessa där agenten hade olika röster, rytm och emotion. I ett samtal sa agenten att den var trött efter arbete, och vid den tidpunkten lät den trött.

I ett annat exempel pratade boten med personen som gjorde den bekväm medan den lät emotionell och nästan gick sönder.

Ett annat exempel visar en Block-medarbetare som spelar spel med röstassistenten.

Bolaget säger att modellen kan köras lokalt på en konsumentdator som en MacBook M4 Max eller bättre. Det finns dock ingen offentlig åtkomst till Dessa just nu, och Block har gett ut ett upprop till säkerhetsforskare för att testa modellen. Detta görs troligen för att testa fall där en röstassistent kunde lura personer på andra sidan.

Block verkar inom finans och säljer sina lösningar till små företag. Square använder redan röst-AI för att hantera beställningar. Men med sitt eget röstmodell som kan köras på enhet kan det driva många fler företags- och konsumentupplevelser till lägre kostnad.