Francouzská společnost Mistral AI představila svůj dosud největší a nejvýkonnější model umělé inteligence. Mistral Large 4 má více než bilion parametrů, dokáže pracovat s textem i obrazem a zaměřuje se mimo jiné na programování, kyberbezpečnost nebo finance. Zatím je dostupný jako veřejná testovací verze.
Mistral nový model představil v úterý 6. října. Mistral Large 4 má celkem 1,05 bilionu parametrů, při zpracování požadavku ale díky architektuře Mixture-of-Experts využívá jen přibližně 50 miliard aktivních parametrů. Firma tím omezuje výpočetní náročnost, aniž by musela výrazně zmenšit celkovou kapacitu modelu.
Zvládne milion tokenů i práci s obrazem
Model nabízí kontextové okno o velikosti jednoho milionu tokenů. Dokáže tedy při jednom požadavku pracovat s velkým množstvím textu, dokumentů nebo zdrojového kódu. Je multimodální, takže kromě textu analyzuje také obrázky, grafy, technické výkresy nebo rozsáhlé dokumenty.
Mistral jej zaměřuje především na složitější pracovní úlohy. Firma uvádí využití při programování, automatizovaných pracovních postupech, finančních analýzách, právních úlohách nebo kybernetické bezpečnosti. Významnou část tréninkových dat tvořil obsah ve více než 160 jazycích, včetně všech úředních jazyků Evropské unie.
Společnost zároveň zveřejnila výsledky řady testů, podle nichž má Large 4 v některých oblastech překonávat jiné modely s otevřenými váhami a v některých specializovaných úlohách konkurovat i uzavřeným systémům. Část výsledků pochází z hodnocení třetích stran, širší nezávislé testování modelu ale teprve ukáže, jak si povede v praxi.
Váhy mají přijít během října
Mistral Large 4 je nyní možné vyzkoušet prostřednictvím veřejného API. Váhy modelu chce firma zveřejnit do konce října. Do té doby jej testuje také s vybranými partnery, odborníky na kybernetickou bezpečnost a státními institucemi.
Model byl vytrénován v evropských datových centrech Mistralu na 3 800 grafických procesorech Nvidia Grace Blackwell. Společnost se s ním snaží posílit svou pozici vedle amerických a čínských vývojářů pokročilých modelů. Large 4 se zároveň má stát základem nové generace specializovaných systémů zaměřených na jednotlivá odvětví.