Možná jste v posledních dnech zaslechli, že francouzský Mistral koncem října „uvolní váhy“ svého nového modelu, nebo že si nějaký model můžete „stáhnout z Hugging Face“. Co to znamená a proč by to mělo zajímat i běžného uživatele? Vysvětlujeme bez technického žargonu.
Ve zkratce
- Uzavřený model (ChatGPT, Gemini, Claude) používáte jen přes službu firmy, která ho vyvinula.
- Otevřený model (open-weight) si můžete stáhnout a provozovat sami, na počítači nebo na firemním serveru.
- Výhody: data nikam neodcházejí, funguje i offline, neplatíte za každý dotaz.
- Nevýhody: potřebujete výkonný hardware, menší modely bývají slabší a pozor na licence.
Co jsou „váhy“ modelu
Jazykový model je v podstatě obrovská sada čísel, kterým se říká parametry nebo váhy. Při tréninku se tato čísla nastavují tak, aby model dobře předvídal další slovo (přesněji token). Celé „znalosti“ i „dovednosti“ modelu jsou uložené právě v nich. Základní pojmy vysvětlujeme v článku Token, model, kontextové okno.
- Uzavřený model: váhy má jen firma. Vy posíláte dotaz přes internet a dostanete odpověď.
- Otevřený model (open-weight): firma váhy zveřejní, typicky na webu Hugging Face, což je největší „knihovna“ otevřených AI modelů. Model si stáhnete a spustíte sami.
Pozor na rozdíl oproti open source: „otevřené váhy“ neznamenají automaticky, že je zveřejněné všechno, třeba trénovací data. A hlavně neznamenají, že model smíte použít jakkoli. O tom rozhoduje licence.
Příklady z posledních dnů
- Mistral Large 4 od francouzského Mistralu má bilion parametrů. Mistral slíbil zveřejnit váhy do konce října. Podrobnosti v našem článku Mistral Large 4.
- LFM2.5-24B-A2B od Liquid AI je ke stažení na Hugging Face a je stavěný tak, aby rychle běžel na běžném počítači. Návod pro pokročilé najdete v článku LFM2.5: lokální AI agent.
- Gemma od Googlu je otevřený model, který Google DeepMind doladil na odhalování podvodů přímo v telefonu. Více v článku DeepMind a detekce podvodů.
Proč na otevřených modelech záleží
- Soukromí. Když model běží u vás, vaše data nikam neodcházejí. Pro firmy, které řeší GDPR nebo obchodní tajemství, je to zásadní.
- Nezávislost. Firma, která má model u sebe, nepřijde o přístup, když poskytovatel změní ceny, podmínky nebo službu vypne. Mistral to u svého modelu výslovně zdůrazňuje u kybernetické bezpečnosti.
- Cena. Neplatíte za každý dotaz, jen za hardware a elektřinu.
- Úpravy na míru. Otevřený model lze doladit na vlastních datech, jako to udělal Google s Gemmou pro podvodné zprávy.
- Evropský rozměr. Evropské firmy jako Mistral sázejí na otevřené váhy jako na cestu k „AI suverenitě“, tedy menší závislosti na amerických službách.
Háčky, o kterých se moc nemluví
- Hardware. Velké modely potřebují výkonné grafické karty nebo servery. Model s bilionem parametrů na notebooku nespustíte. Menší modely ano, ale bývají slabší.
- Čeština. Ne každý otevřený model umí česky. Například LFM2.5-24B-A2B má podle své karty 16 podporovaných jazyků a čeština mezi nimi není.
- Licence. Podmínky se model od modelu liší. Mistral například ve FAQ uvádí, že jeho otevřené modely (jako Mistral 7B) jsou pod licencí Apache 2.0 pro výzkum a individuální použití, ale komerční nasazení vyžaduje licenci Mistralu. Před firemním použitím si licenci vždy přečtěte.
- Údržba a bezpečnost. O aktualizace, zabezpečení a kontrolu výstupů se staráte sami.
Jak otevřený model vyzkoušet
Bez instalace: Mnoho otevřených modelů lze vyzkoušet přímo v prohlížeči. Mistral má například vlastní aplikaci a vývojářské rozhraní Mistral Studio.
Na vlastním počítači: Nejjednodušší cestou pro začátečníky jsou desktopové aplikace jako LM Studio, které Liquid AI uvádí mezi podporovanými nástroji pro svůj model. Postup je obvykle takový:
- Nainstalujte aplikaci.
- Vyhledejte v ní model (začněte malým, s několika miliardami parametrů).
- Stáhněte ho a začněte psát jako v běžném chatu.
Tip: první zkušební dotaz zadejte česky. Hned uvidíte, jak model zvládá náš jazyk.
Náš pohled
Pro běžné psaní a hledání informací jsou ChatGPT, Gemini nebo Claude pořád pohodlnější. Otevřené modely ale rychle dohánějí náskok a pro firmy, které chtějí mít data pod kontrolou, jsou čím dál reálnější volbou. Kdo se chce v AI zorientovat do hloubky, měl by si aspoň jeden otevřený model vyzkoušet. Než začnete do jakéhokoli modelu vkládat citlivá data, přečtěte si i náš článek o soukromí v AI chatbotech.
Článek vznikl s pomocí AI a před publikací ho zkontrolovala redakce Promptovna.cz.
