0xSero/DeepSeek-V4.1-Flash-Spark

DeepSeek-V4.1-Flash s každým páteřním směrovaným expertem překódovaným jako EXL3 trellis(MUL1 codebook) na specializované směsi K2 / K3 / K5, dimenzované tak, aby sloužily na dvou NVIDIA DGX Spark(GB10, 2 x 128 GB sjednocené paměti, tenzor paralelní 2). Průměrná míra směrovaných odborníků2,77 bpw. Vše ostatní — pozornost, sdílení odborníci, routery, tabulky Engram, návrhové vrstvy DSpark/MTP a jejich odborníci, věž Vision, embeddings a hlava — je proti proudu kontrolním bodem, bajtem pro bajt, ve svém n

Odborníci na EXL3 potřebují cestu EXL3 MoE na doprovodném obrázku vLLM (níže). Skladové vLLM a prosté transformátory nemohou spustit tento modelový checkpoint. Dva střepy Engramu jsou uloženy jako rozdělené části (HF omezuje soubory na 50 GB); po stažení spusťte ./reassemble.sh jednou.

Offline full-vocabulary token-wise KL divergence proti nativnímu modelovému checkpointu (učiteli), 64 oken na panel, bootstrap 95 % CI. Nižší KLD a vyšší dohoda TOP-1 jsou lepší.

Spárováno proti předchozímu přidělení 2,68 bpw (stejné banky K2/K3, 1782 odborníků odešlo jako nativní MXFP4), tato sestava se pohybuje −1,5 % na v3.1 a +0,8 % na starší KLD, oba uvnitř šumového pásma; bylo přijato, protože každý směrovaný odborník nyní používá jednu rodinu jádra.