Microsoft oznámil nový model umělé inteligence pro převod textu na řeč. Model nazvaný VALL-E dokáže věrohodně napodobit hlas člověka z třísekundového zvukového vzorku. Informoval o tom server Engadget a Ars Technica.
Společnost předpokládá, že VALL-E by mohl být použit pro vysoce kvalitní aplikace pro převod textu na řeč. Dalším možným využití je editace řeči, kde by se nahraný zvuk upravil tak, aby originální osoba řekla něco, co původně neřekla. Stejně jako deepfakes s sebou ale nese VALL-E riziko zneužití.
Vědci trénovali VALL-E na 60 000 hodinách anglické řeči od více než 7 000 mluvčích ze zvukové knihovny LibriLight společnosti Meta. Hlas, který se pokouší napodobit, musí být blízký hlasu v tréninkových datech. Pokud tomu tak je, použije tréninková data k odvození toho, jak by cílový mluvčí zněl, kdyby četl požadovaný textový vstup.
Microsoft’s VALL-E AI can mimic any voice from a short audio sample https://t.co/RaDp6M4IDo pic.twitter.com/MEkhAjxnmX
— Engadget (@engadget) January 10, 2023
Společnost Microsoft poskytuje na GitHub stránce desítky zvukových ukázek modelu umělé inteligence v akci. Mezi ukázkami jsou pole „Speaker Prompt“, což je třívteřinový zvuk poskytnutý modelu VALL-E, který musí napodobit. „Ground Truth“ je již existující nahrávka téhož mluvčího, který říká určitou frázi pro účely srovnání. „Baseline“ je příklad výstupu poskytovaného běžnou metodou syntézy textu na řeč a ukázka „VALL-E“ je výstup z modelu VALL-E.
Výsledky jsou různé, některé nahrávky znějí strojově, jiné překvapivě realisticky. Ty, které dopadly dobře, většinou dokáží zachovat emocionální tón původních vzorků. Výstupu z modelu zachovávají akustické prostředí. Pokud řečník tedy nahrál svůj hlas v sále s ozvěnou, zní i výstup VALL-E, jako by pocházel ze stejného místa.
Pro zlepšení modelu plánuje společnost Microsoft rozšířit svá tréninková data, aby „zlepšila výkonnost modelu z hlediska prozódie, stylu mluvení a podobnosti mluvčího“. Zkoumá také způsoby, jak omezit nejasná nebo vynechaná slova.
Zdrojový kód nebude veřejný
I když to tak často u projektů s umělou inteligencí nebývá, společnost Microsoft se rozhodla nezpřístupnit kód jako open source, pravděpodobně kvůli rizikům spojeným s možným využitím k podvodům. Výzkumníci si zřejmě uvědomují potenciální sociální škody, které by tato technologie mohla přinést.
„Vzhledem k tomu, že VALL-E může syntetizovat řeč, která zachovává identitu mluvčího, může to s sebou nést potenciální rizika při zneužití modelu, jako je podvržení identifikace hlasu nebo vydávání se za někoho jiného,“ napsala společnost.
Pro zmírnění rizik je také podle společnosti možné vytvořit detekční model, který rozliší, zda byl zvukový klip syntetizován pomocí VALL-E.