Syninlab/Synin-1.0-31B

Gemma je rodina otevřených modelů vytvořených společností Google DeepMind. Modely Gemma 4 jsou multimodální, zpracovávají textový a obrazový vstup (se zvukem podporovaným na E2B, E4B a 12B) a generují textový výstup. Tato verze obsahuje modely s otevřenou hmotností v předtrénovaných i instrukčně laděných variantách. Gemma 4 obsahuje kontextové okno až 256 000 tokenů a udržuje vícejazyčnou podporu ve více než 140 jazycích.

Díky architektuře Dense a Mixture-of-Experts (MoE) je Gemma 4 vhodná pro úkoly, jako je generování textu, kódování a uvažování. Modely jsou k dispozici v pěti různých velikostech: E2B,E4B,12B,26B A4B a 31B. Díky svým různorodým velikostem je lze nasadit v prostředích od špičkových telefonů až po notebooky a servery, což demokratizuje přístup k nejmodernější umělé inteligenci.

Modely Gemma 4 jsou navrženy tak, aby poskytovaly výkon na hraniční úrovni v každé velikosti a zaměřovaly se na scénáře nasazení od mobilních a okrajových zařízení (E2B, E4B) až po spotřebitelské GPU a pracovní stanice (12B, 26B A4B, 31B). Jsou vhodné pro uvažování, agentské pracovní postupy, kódování a multimodální porozumění.

Modely používají hybridní mechanismus pozornosti, který prokládá pozornost lokálního posuvného okna s plnou globální pozorností, což zajišťuje, že konečná vrstva je vždy globální. Tento hybridní design poskytuje rychlost zpracování a nízkou paměťovou stopu lehkého modelu, aniž by obětoval hluboké povědomí potřebné pro složité úkoly s dlouhým kontextem. Pro optimalizaci paměti pro dlouhé kontexty mají globální vrstvy sjednocené klíče a hodnoty a používají proporcionální RoPE (p-RoPE).