OpenAI uruchamia GPT-Live: modele głosowe full-duplex dla ChatGPT z tłumaczeniem na żywo i naturalnym przejmowaniem głosu

Architektura full-duplex

Sercem GPT-Live jest full-duplex: przetwarza dźwięk w sposób ciągły, jednocześnie generując mowę, co pozwala na przerywanie, wtrącenia i płynniejsze przejmowanie głosu. W blogu badawczym OpenAI zauważono: „model może podejmować decyzje interakcyjne wiele razy na sekundę: czy mówić, kontynuować słuchanie, pauzować, przerywać lub uruchomić narzędzie”. To rozwiązuje niedoskonałości wcześniejszych trybów głosowych, które opierały się na przerwach w ciszy i często przerywały w nieodpowiednim momencie.

Można nawet zapomnieć, że rozmawia się z AI. Jak to ująć? To naprawdę, naprawdę niesamowite uczucie.

Delegowanie w tle do GPT-5.5

Gdy zapytanie wymaga głębszego rozumowania lub przeszukania sieci, GPT-Live przekazuje je do GPT-5.5 w tle. Model głosowy podtrzymuje rozmowę za pomocą wtrąceń, a następnie płynnie integruje odpowiedź. Atty Eleti, szef produktu głosowego, stwierdził, że projekt odzwierciedla ludzki dialog:

Podtrzymujemy rozmowę, podczas gdy w tle myślimy.

Model wyświetla również karty wizualne dla pogody, akcji i sportu, a użytkownicy mogą ustawić poziom rozumowania na Natychmiastowy, Średni lub Wysoki.

Tłumaczenie na żywo i ciche słuchanie

Podczas demonstracji inżynier badawczy Yuchen Zhang mówił po chińsku, a GPT-Live-1 tłumaczył jego słowa na angielski w czasie rzeczywistym – jedna z funkcji, które OpenAI ma nadzieję poszerzyć atrakcyjność. Model może również milczeć przez dłuższy czas, absorbując kontekst, aż zostanie zwrócony, i odpowiada na słowo budzące – w demonstracji „Hey Chat”.

OpenAI podaje, że GPT-Live-1 i jego mniejszy odpowiednik osiągnęły lepsze wyniki niż poprzedni Advanced Voice Mode w 5–10-minutowych rozmowach testowych i poczyniły duże postępy w zakresie naukowego rozumowania oraz agentowych benchmarków wyszukiwania w sieci.

Wdrożenie i ambicje

GPT-Live-1 staje się domyślnym głosem dla warstw Go, Plus i Pro ChatGPT, podczas gdy użytkownicy bezpłatni otrzymują GPT-Live-1 mini. Modele są wdrażane na iOS, Androida i w sieci od dziś, zastępując Advanced Voice Mode. Ponad 150 milionów ludzi już korzysta z Voice i Dictation w ChatGPT co tydzień, poinformowała firma, a Eleti opisał głos jako przyszły podstawowy interfejs dla agentowych obliczeń:

Z czasem myślimy, że to odblokuje możliwość używania głosu jako rodzaju podstawowego interfejsu do obliczeń i zarządzania coraz bardziej złożonymi, długotrwałymi pracami agentowymi.