Mistral Voxtral 3: evropská odpověď na hlasové AI agenty

Hlasoví asistenti, kteří zvednou telefon, pochopí, co volající chce, a rovnou objednají termín nebo zkontrolují fakturu, jsou letos jedním z nejsledovanějších směrů AI. Francouzská firma Mistral AI do tohoto závodu vstoupila 20. října s rodinou modelů Voxtral 3. Nejde o jeden model, ale o celou skládačku: přepis řeči na text, převod textu na řeč a sadu nástrojů (SDK), která z obojího postaví hlasového agenta.

Co Voxtral 3 obsahuje

Podle dokumentace má rodina pět modelů a k nim nástroj pro agenty:

• Voxtral Mini Transcribe 3 přepisuje nahrané soubory. Má 4 miliardy parametrů a stojí 0,0035 USD za minutu záznamu.
• Voxtral Small Transcribe 3 je kvalitnější varianta pro soubory za 0,004 USD za minutu. Mistral ji zatím označuje jako veřejnou testovací verzi (public preview).
• Voxtral Mini Transcribe Realtime 3 přepisuje řeč živě, třeba z telefonního hovoru nebo pro titulky v reálném čase, za 0,008 USD za minutu. Podle Mistralu reaguje se zpožděním pod půl sekundy.
• Voxtral TTS 3 (v oznámení Mistralu označovaný také jako Voxtral Speech 3) a jeho varianta pro živé rozhovory převádějí text na řeč za 13 USD za milion znaků.
• Sada nástrojů pro hlasové agenty (SDK) stojí na open-source projektu LiveKit a propojuje poslech, „přemýšlení“ jazykového modelu, volání nástrojů a mluvenou odpověď do jednoho plynulého celku. Agent s modelem Mistral Small 4 stojí 0,04 USD za minutu hovoru, s jiným jazykovým modelem 0,08 USD.

Přepis umí rozlišit mluvčí (kdo kdy mluvil), poznat, kdy člověk domluvil, a řídit se seznamem odborných výrazů nebo jmen, aby je zapsal správně. Hlasový výstup lze řídit značkami pro emoce (dokumentace jich uvádí 34) a tempo řeči. Agent podle Mistralu dokáže ověřit totožnost volajícího, zkontrolovat účet nebo objednat schůzku, a to přes telefonní linku (SIP), v prohlížeči i v aplikaci (WebRTC).

Jak je to s češtinou

Tady je potřeba rozlišovat přepis a hlas:

• Přepis řeči češtinu zvládá. Mistral uvádí 50 podporovaných jazyků včetně všech 24 úředních jazyků EU. Čeština (CS) je navíc výslovně v seznamech jazyků, na kterých firma měřila přesnost přepisu nahrávek i živé řeči.
• Český hlas zatím potvrzený není. Mistral u převodu textu na řeč píše o více než 35 jazycích a více než 50 nářečích, hotové hlasy (presety) ale nabízí jen v 18 jazycích a čeština mezi nimi chybí. Stránka modelu v dokumentaci navíc ke dni vydání uvádí jen 9 jazyků, takže oficiální údaje si zatím odporují. Kdo chce českého hlasového agenta, musí si výslovnost otestovat sám.

Pro české firmy je to důležité rozlišení. Přepis porad, hovorů na zákaznické lince nebo diktátů v češtině lze zkoušet hned. O tom, jak AI pomáhá s přepisem schůzek, píšeme v návodu Zápis z porady pomocí AI. S telefonním agentem, který by na Voxtralu mluvil plynně česky, zatím počítat nelze.

Data v Evropě

Mistral opět sází na takzvanou digitální suverenitu. Přes API je Voxtral 3 dostupný z evropských i amerických serverů a také přes globální koncový bod. Firmy, které nechtějí posílat zvuk mimo vlastní servery, si podle Mistralu mohou celou sadu provozovat ve vlastní infrastruktuře; podmínky je ale nutné dojednat s obchodním oddělením Mistralu. Volně stažitelné váhy Mistral u Voxtralu 3 neohlásil. Pro nemocnice, banky nebo úřady, které musí dodržovat GDPR a pracují s citlivými hovory, může být rozhodující právě možnost provozu v EU nebo na vlastních serverech.

Konkurence ve stejný den: Eleven Realtime

Tentýž den představila americká firma ElevenLabs modely Eleven Realtime. Zvolila opačný přístup: místo skládačky z přepisu, jazykového modelu a syntézy řeči jde o jeden model, který převádí řeč přímo na řeč. Má dvě varianty: levnější v1 Mini pro běžné rozhovory a v1 Max pro složitější úlohy s nástroji. Podle ElevenLabs zvládá přes 90 jazyků a může mluvit kterýmkoli z více než 17 000 hlasů z její knihovny. Rozhraní je kompatibilní s Realtime API od OpenAI, takže vývojářům k přechodu stačí změnit v kódu adresu a název modelu.

Podle testů nezávislé firmy Artificial Analysis, na které se ElevenLabs odvolává, odpověděla varianta Max správně na 98,8 % mluvených otázek v testu Big Bench Audio a začala mluvit v průměru za 0,57 sekundy.

	Mistral Voxtral 3	ElevenLabs Eleven Realtime
Přístup	skládačka: přepis + jazykový model + hlas	jeden model řeč → řeč
Co lze měnit	jazykový model, hlas i jazyk, každé zvlášť	hlas a variantu Mini, nebo Max
Čeština	přepis ano, hlas zatím nepotvrzen	výrobce uvádí 90+ jazyků
Provoz v EU / vlastní servery	ano (API v EU, vlastní provoz po dohodě)	výrobce v oznámení neuvádí
Cena agenta	0,04–0,08 USD/min	v oznámení neuvedena

Na co si dát pozor

• Údaje o přesnosti zatím pocházejí hlavně od výrobců. Mistral tvrdí, že jeho přepis překonává Whisper, Scribe v2 i Gemini 3.5 Transcribe. Část srovnání ale vyhodnocoval jiný AI model jako „porotce“ a nezávislé testy v češtině chybí.
• Pro vývojáře: přechod z Voxtralu 2 není úplně bezbolestný. Podle migračního průvodce nový přepis už neumí časové značky u jednotlivých slov, jen u delších úseků.
• Hlasové klony a souhlas. Funkce Pro Voice podle Mistralu napodobí hlas konkrétního člověka zhruba z 30 minut nahrávek. Klonovat cizí hlas bez souhlasu je eticky i právně riskantní, a to i v Česku.

O dalších hlasových novinkách jsme psali v článcích o Grok Voice 3 a hlasu GPT-Live 1.1 v ChatGPT. Předchozí velký model Mistralu rozebíráme v článku Mistral Large 4.

Náš pohled

Voxtral 3 není produkt pro běžného uživatele chatbotu, ale stavebnice pro firmy a vývojáře. Jeho největší silou je kombinace nízké ceny, přepisu, který rozumí češtině, a možnosti nechat data v Evropě. Slabinou je zatím nejistá čeština v mluveném výstupu. ElevenLabs nabízí jednodušší cestu a širší výběr hlasů, Mistral větší kontrolu nad tím, kde a jak agent běží. Která cesta je lepší, rozhodnou až nezávislé testy a zkušenosti z ostrého provozu.

Článek vznikl s pomocí AI a před publikací ho zkontrolovala redakce Promptovna.cz.