yamz-labs/Qwen3.8-Flash-Next-EXL3-Yamz

EXL3 sestavení Qwen/Qwen3.8-Flash-Next ↗ od Yamz Labs. Kyojin je náš motor, postavený na ExLlamaV3: https://github.com/Yamz-Labs/kyojin. ↗ Není spojen s Qwen.

Rozhraní http API ve stylu OpenAI na portu 8000. Spekulativní dekódování je ve výchozím nastavení zapnuto. Podrobnosti: tools/qwen/SERVE.md in the engine repo.

Balíček potřebuje asi 113 GiB ze 128 GB; na -c 131072 asi 14 GiB zůstalo v našich bězích zdarma. Nejprve zavřete ostatní velké programy. Výchozí kontext je 65536. Start to ready trvá asi 90 s s balíčkem v mezipaměti stránky; server zahřeje svá jádra před tím, než odpoví, takže první požadavek není pomalý.

Na 32K, Strata (verze neuvedena, UD-IQ4_XS, čísla zveřejněná jejím zakladatelem 04.10.2026, neměřeno námi) hlásí 1195 předvyplnění a 54,7 dekódování tok/s. Naše při 32K: 1486 předvyplnění, 32,7 prostého dekódování (na tomto obrázku není kreslíř). Hloubka nás stojí málo: prostý dekód je 31,9 tok/s při 128 000, spekulativní 40,3.