Toto je numerická kvantizace BAAI/AREX-2 ↗, nikoli jemné doladění. Veškerý kredit modelu patří do AREX-2; viz upstream model card ↗ pro architekturu, schopnosti, hodnocení a pokyny k použití.
Toto sestavení se zaměřuje na vLLM na GPU třídy Ampere, kde není k dispozici nativní provedení tenzorového jádra FP8. Zachovává vizionářskou věž Qwen3.8, ovládání myšlení, nativní kontext 262K a hlavu MTP BF16. Předcházející model je rozšiřitelný na 1M tokeny s YaRN; to je oddělené od nativního kontextu a dostupné kapacity KV.
--max-model-len omezuje vstup jednoho požadavku plus vygenerované tokeny. KV pool je sdílená alokace runtime napříč všemi živými požadavky, nikoli rezervace na jeden pruh: --max-num-seqs umožňuje mnoho aktivních sekvencí, ale neposkytuje mnoho plných kontextů. Blízko limitu 262K, rezervujte si světlou výšku výstupního tokenu a očekávejte pouze jeden požadavek po celé délce.
modelový checkpoint s otevřeným zdrojovým kódem je nativní s 262 144 tokeny. Qwen dokumentuje rozšíření na 1 000 000 tokenů prostřednictvím statického YaRN, ale tento 266 537 tokenový KV pool tohoto nasazení nemůže pojmout 1M tokenový požadavek ani s povoleným YaRN; 1M cesta zde není ověřena ani podporována. Postupujte podle oficiální konfigurace YaRN ↗ pouze s runtime a paměťovým plánem velikosti pro požadovaný kontext.
