gratex/MiMo-V2.6-Distill-Qwen-9B-W4A16-g64-sym

Toto je W4A16 (pouze 4bitová váha) kvantizaceXiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B ↗, 9B agentního modelu s hybridní lineární pozorností/plnou pozorností, nativním voláním nástrojů a řetězovým uvažováním. Zahrnuje kódování, obecné úkoly agentů, vizuální kódování a kybernetickou bezpečnost.

Kvantizace byla provedena pomocí AutoRound ↗ (0.15.0) pomocí SignRounda exportována ve formátu compressed-tensors ↗ ve formátu pack-quantized, s smíšeným schématem velikosti skupiny: group_size 64 pro standardní lineární vrstvy a group_size 32 pro projekce Gated DeltaNet linear_attn.in_proj (24 vrstev GDN × 4 projekce = 96 tenzorů), kde bylo empiricky vyžadováno jemnější škálování na blok

layer_config nastavuje group_size 32 na 96 in_proj tenzorech 24 vrstev GDN (vrstvy s plnou pozorností 3, 7, 11, …, 31 nenesou projekce linear_attn). Konečný quantization_config používá cíle regulárních výrazů pro jednotlivé moduly (re:.linear_attn.in_proj.) k jednoznačnému mapování obou velikostí skupin.

Všechna zobrazená čísla jsou měřenana tomto kontrolním bodě. Referenční (BF16 base) PPL/KLD vyhodnocené na identických datech s identickým tokenizerem.