Mer0vin8ian/gemma-4-E4B-it-qat-mobile-ct

Tato modelová karta je určena pro nové verze rodiny Gemma 4 optimalizované pro Quantization-Aware Training (QAT), což umožňuje zachovat podobnou kvalitu jako bfloat16 a současně dramaticky snížit požadavky na paměť pro načtení modelu. K dispozici jsou čtyři verze modelových checkpointů QAT: Nekvantizované modelové checkpointy QAT(Q4_0): Polopřesná závaží extrahovaná z potrubí QAT, ideální pro vlastní kompilaci a výzkum po proudu. K dispozici pro Gemma 4 E2B, E4B, 12B, 26B

Gemma je rodina otevřených modelů vytvořených společností Google DeepMind. Modely Gemma 4 jsou multimodální, zpracovávají textový a obrazový vstup (se zvukem podporovaným na E2B, E4B a 12B) a generují textový výstup. Tato verze obsahuje modely s otevřenou hmotností v předtrénovaných i instrukčně laděných variantách. Gemma 4 obsahuje kontextové okno až 256 000 tokenů a udržuje vícejazyčnou podporu ve více než 140 jazycích.

Díky architektuře Dense a Mixture-of-Experts (MoE) je Gemma 4 vhodná pro úkoly, jako je generování textu, kódování a uvažování. Modely jsou k dispozici v pěti různých velikostech: E2B,E4B,12B,26B A4B a 31B. Díky svým různorodým velikostem je lze nasadit v prostředích od špičkových telefonů až po notebooky a servery, což demokratizuje přístup k nejmodernější umělé inteligenci.

Modely Gemma 4 jsou navrženy tak, aby poskytovaly výkon na hraniční úrovni v každé velikosti a zaměřovaly se na scénáře nasazení od mobilních a okrajových zařízení (E2B, E4B) až po spotřebitelské GPU a pracovní stanice (12B, 26B A4B, 31B). Jsou vhodné pro uvažování, agentské pracovní postupy, kódování a multimodální porozumění.