yyrgzn/Qwen3.8-27B-FP8-NInfer-v3

Toto úložiště obsahuje „Qwen3.8-27B-FP8-v3-full.ninfer“, úplný artefakt NInfer v3 pro Qwen3.8-27B ↗ vytvořený z oficiálního kontrolního bodu FP8 Qwen/Qwen3.8-27B-FP8 ↗. Artefakt je určen pouze pro NInfer; nejedná se o modelový checkpoint Transformers, distribuci Safetensors nebo soubor GGUF.

Textová věž zachovává oficiální kvantizaci E4M3. modelový checkpoint ukládá lineární projekce jako kódy E4M3 s mřížkou BF16 „weight_scale_inv“ na váhový blok 128×128; převodník dekóduje každý blok přesně (mantisa E4M3 krát měřítko BF16 odpovídá stupnici FP32 bez zaokrouhlování) a znovu zakóduje hodnoty jednou stupnicí BF16 na výstupní řádek („fp8_row_maxabs“). Vložení tokenu, výstupní hlava a každá textová projekce kromě projekcí GDN a/b (udržováno přímo BF16

Soubor obsahuje Text, Vision, MTP, DFlash2 a frontend zdroje. Závaží Vision pochází z vlastní plné vizuální věže BF16 kontrolního stanoviště. Váha vidění a spekulativní váhy se načítají pouze při výběru při spuštění.

Oficiální modelový checkpoint kvantifikuje textové lineární projekce pomocí kódů E4M3 a mřížky BF16 „weight_scale_inv“ na váhový blok 128×128. Nativní úložiště NInfer je na řádek: jedna stupnice BF16 na výstupní řádek. Jak konverze tuto mezeru uzavírá: