Kolibri je smíšený model uvažování společnosti Aleph Alpha (MoE) se zaměřením na němčinu a angličtinu. Model podporuje explicitní režim uvažování a volání nástrojů. Je optimalizován pro dlouhodobou kontextovou a inferenční efektivitu.
Kolibri je určen ke zpracování vstupů a výstupů textu v němčině a angličtině a k provádění široké škály úkolů nad rámec generování přirozeného jazyka, například vícestupňové uvažování, kódování, strukturované extrakce, generování rozšířeného vyhledávání, zpracování dlouhých dokumentů a volání agentických nástrojů.
Kolibri byl předem vyškolen na sekvencích 16 384 tokenů, středně vyškolen na 65 536 a vyškolen na 262 144 tokenech ve finální dlouhodobé kontextové fázi, což je jeho přirozená délka kontextu. Vzhledem k tomu, že poziční kódování se používá pouze ve vrstvách posuvného okna, lze kontext rozšířit za tuto délku bez jakéhokoli škálování polohy, v zásadě na libovolné délky. Ověřili jsme kvalitu a efektivitu podávání až 1 048 576 tokenů. Pro nasazení citlivé na latenci nebo propustnost
Pro typy systémů, do kterých má být Kolibri integrován, viz níže uvedené typy systémů AI; pro použití, které doporučujeme uživatelům, aby se zdrželi, viz Zodpovědné používání.
