spectator2026/Qwen3.8-Flash-Next-W6-HQQ-g32

6bitová kvantizace směrovaných odborníků z Qwen3.8-Flash-Next ↗, zabaleno pro použití na NVIDIA A100 (SM80)pod vLLM. A100 nemá žádný hardware FP4 a modelový checkpoint BF16 se nevejde na dvě karty, takže toto repo je cesta A100: odborníci int6, 6bitové jádro Marlin MoE a sedm malých záplat vLLM (včetně mezipaměti fp8 KV na SM80).

Připnutý obrázek: vllm/vllm-openai:nightly-0bfc7a15d095fe83ecc82b50561a93c177fece2d (vLLM commit 0bfc7a15). Záplaty jsou bez chlupů sjednocené rozdíly proti souborům tohoto obrázku.

serve.sh připojí opravené soubory a knihovnu jádra přes obrázek a spustí jeden motor TP2:

Nastavte KV_OFFLOAD_GiB= pro přidání úrovně hostitele-RAM KV (--kv-offloading-size). Výchozí hodnoty vzorkování: temperature 1.0, top_p 0.95, top_k 20 (from generation_config.json).