Tým jazykovědců a studentů v čele s Jiřím Miličkou z Univerzity Karlovy v Praze a Annou Marklovou z berlínské Humboldtovy univerzity zjistil, že umělá inteligence může snížit vlastní schopnosti, aby lépe odpovídala roli, ve které má vystupovat. Čeští experti a jejich slovenský kolega studii, ve které simulovali dětské reakce a která vyvolala v zahraničních médiích značný ohlas, zveřejnili v odborném magazínu PLOS One. Za výzkumem, jak psycholingvistka Marklová řekla ČTK, stál nápad zjistit, co vlastně velké jazykové modely dokážou.
„Téma bylo výsledkem semestrálních diskuzí studentů na semináři na filozofické fakultě. Ideou bylo podívat se na to, co jazykové modely umí, ale my to možná nevíme,“ řekla Marklová. Místo hledání maximálního potenciálu umělé inteligence se výzkumníci vydali opačným směrem. Rozhodli se kvůli tomu simulovat dětské role, a zjistit tak, zda tyto pokročilé systémy dokážou vystupovat na nižší jazykové úrovni a nižším stupni chápání.
Umělá inteligence umí snížit své schopnosti kvůli roli, zjistili vědci z Česka https://t.co/yXsBGFcoDJ pic.twitter.com/wZ8oMXvZzF
— MagazinCN_cz (@MagazinCN_cz) April 18, 2024
Řada zpravodajských portálů o výsledcích studie napsala, že umělá inteligence umí předstírat, že je hloupější, než ve skutečnosti je. To ale podle Marklové není přesné. „Nepředstírá nic, co neřekneme, aby předstírala,“ řekla.
Velké jazykové modely, jako je například ChatGPT, mohou vystupovat v různých rolích, které se označují jako persony. To, jak budou tyto persony vystupovat, je závislé na zadaných příkazech a instrukcích, kterým odborníci říkají prompty. Podoba těchto pobídek je pro fungování jazykových modelů klíčová, neboť jejich špatná formulace může omezit potenciál umělé inteligence.
„Někdy nějaká studie uvede, že něco s modely nejde. Pak ale přijde někdo, kdo si pohraje s prompty a zjistí, že to možné je,“ upozornila Marklová. „Nemusí být proto správné říkat, že model něco neumí. Možná jen nevíme, že to umí, a jdeme na to špatně,“ řekla.
„Je hrozně zajímavé se tomu věnovat a zkoumat limity,“ uvedla. To, že se experti rozhodli pro psycholingvistické experimenty na virtuálních dětech, označila za pionýrský počin.
Výsledky studie mají podle Marklové velký přínos pro další lingvistický výzkum, neboť si vědci budou moci s pomocí umělé inteligence vyzkoušet technická řešení a metody práce nejdříve na virtuálních osobách. „Persony se chovají ve statistikách jako demografické skupiny. Pro lingvistiku je potíž najít lidi na experimenty. Je to strašně těžké,“ řekla. Pokud je technické řešení výzkumu špatné, tak je to podle Marklové značné plýtvání lidskými zdroji. „A tohle je věc, co má velký potenciál pro vědecké využití,“ myslí si.
Lingvisté ve studii pracovali s virtuálními dětmi a rodiči. Role byly vyvážené mezi muže a ženy. Rozdělení podle pohlaví na žádný pravidelný vzorec ve výsledcích neukázalo. V započatém směru výzkumu chtějí vědci pokračovat. „Další logický krok je to, zda bude české rozhraní dávat stejné výsledky,“ řekla.
Původní výzkum pracoval s anglickým jazykem, což bylo dáno tím, že velké jazykové modely jsou založeny na angličtině, ačkoli umí pracovat i s češtinou. Angličtina, jak Marklová vysvětlila, rovněž vědcům zajistila dostatek přepisů skutečných konverzací s dětmi ve věku do šesti let. „V češtině už zdroje nejsou tak bohaté, jako jsme měli v angličtině,“ řekla.
Autoři studie už zaznamenali řadu komentářů a poznámek k výběru výchozích jazykových podmínek. „Lidé komentovali to, proč jsme to nedělali s jinými situacemi, kde jsou jazykové schopnosti rovněž omezené, jako je třeba afázie,“ zmínila Marklová poruchu řeči způsobenou porušením řečových oblastí mozku. Poznamenala, že pro takovou poruchu je těžké najít ucelený jazykový korpus, aby bylo možné získat kvalitní výsledky.