Google DeepMind 14. října popsal na svém blogu systém na odhalování podvodných zpráv, který vyvinul se singapurskou vládní technologickou agenturou GovTech. Hlavní myšlenka: AI běží přímo v telefonu, takže zprávy nemusí nikam odcházet.
Proč právě Singapur
Podvody, například investiční podvody, falešné pracovní nabídky nebo vydávání se za úředníky, tvoří v Singapuru víc než polovinu všech nahlášených trestných činů. Od roku 2019 lidé přišli o více než 4 miliardy singapurských dolarů. Až 80 % ztrát podle blogu připadá na sociální inženýrství, tedy podvody, kdy útočník oběť nejdřív přesvědčivým rozhovorem zmanipuluje a teprve pak chce peníze.
Jak systém funguje
- Malý model v zařízení. Základem je model Gemma od Googlu, doladěný na rozpoznávání podvodů. Gemma patří mezi tzv. otevřené modely, které lze provozovat lokálně (vysvětlujeme v článku Otevřené AI modely).
- Dvoustupňové zpracování kvůli baterii. Nejdřív příchozí zprávy prověří malý a úsporný klasifikátor. Teprve podezřelé případy posoudí doladěná Gemma na delším úseku konverzace a hrozbu potvrdí, nebo planý poplach zahodí.
- Varování v reálném čase. Když model pozná manipulaci, telefon uživatele upozorní, ať se zastaví, než pošle peníze nebo citlivé údaje.
- Soukromí. Podle autorů obsah chatů nemůže číst Google ani singapurská vláda.
- Bez osobních údajů. Do tréninku podle blogu nešly soukromé ani osobní údaje, jen anonymizované datové sady z hlášení o podvodech.
Kdy to bude k dispozici
Zatím v žádné aplikaci. Nasazení má probíhat postupně a jen se souhlasem uživatelů. Přesnost systému autoři zatím nezveřejnili, takže nelze říct, jak často se trefí nebo plete. O spolupráci informovala i singapurská stanice CNA. Google podle blogu zkoumá podobné projekty i v dalších zemích, které konkrétně, neuvádí.
Co to znamená pro Česko
Podvody přes SMS, WhatsApp nebo falešné telefonáty z „banky“ jsou i u nás velmi rozšířené. Systém, který varuje přímo v telefonu a nesdílí obsah zpráv, by se mohl hodit i tady. Zatím ale nevíme, jestli a kdy se dostane do Evropy, ani jak by si poradil s češtinou.
Do té doby platí osvědčená pravidla:
- Banka po vás nikdy nebude chtít převést peníze na „bezpečný účet“.
- Odkazy z neočekávaných SMS neotevírejte, do aplikace banky jděte sami.
- Při nátlaku a spěchu hovor ukončete a zavolejte na oficiální číslo.
Náš pohled
Projekt je zajímavý hlavně přístupem: místo posílání zpráv do cloudu hlídá malý model přímo v telefonu. Bez zveřejněné přesnosti je ale předčasné ho chválit. Uvidíme, jak bude fungovat v praxi. O tom, kam putují data z AI chatbotů, píšeme v článku Soukromí v AI chatbotech.
Článek vznikl s pomocí AI a před publikací ho zkontrolovala redakce Promptovna.cz.
