Transformer

Architektura neuronové sítě, na které stojí dnešní jazykové modely. Umí sledovat souvislosti mezi slovy i daleko od sebe.

Architekturu popsali výzkumníci převážně z Googlu v roce 2017 v článku Attention Is All You Need. Jejím jádrem je mechanismus pozornosti (attention), díky kterému model u každého slova vyhodnotí, které jiné části textu jsou pro něj důležité.

Transformery se dají dobře trénovat souběžně na mnoha grafických procesorech, a i proto umožnily vznik velkých jazykových modelů. Kromě textu se používají i pro obrázky, zvuk a video.