roofkid/Qwen3.8-27B-GSQ3-NInfer

Tato modelová karta je verzí řízeným zdrojem pro roofkid/Qwen3.8-27B-GSQ3-NInfer ↗.

Úložiště obsahuje doslovné přebalení 3bitového ISTA-DASLab/Qwen3.8-27B-3Bit-GSQ ↗ kontrolního bodu do nativního NInfer ↗ artefaktového formátu „.ninfer“, který je dimenzován tak, aby spustil plný profil 100 000 tokenů, vize a spekulativního dekódování na jediném 16 GB RTX 4080. Je určen pouze pro vidlici RTX 4080 NInfer; nejedná se o modelový checkpoint Transformers, distribuci Safetensors nebo GGUF

Textové tělo je 320 matic v registrovaném schématu „Q3G128_F16S“: symetrické 3bitové kódy v „[-4, 3]“, jeden multiplikátor FP16 na skupinu 128 hodnot, 3,125 bitů na hmotnost. Vkládání tokenu a plná výstupní hlava používají „Q4G64_F16S“; optimalizovaná hlava návrhu používá „Q5G64_F16S“ a „Q4G64_F16S“; vrstva MTP a věž Vision se řídí registrovanými recepty „groupwise-int“ společnosti NInfer; společník DFlash2 byl rekvalifikován na „Q4G64_F16S“. Soubor také nese tokenizer, chat-tem

320 matic Text-tělo je bezeztrátovým přebalením kvantovaných hodnot vydavatele: každý 3bitový kód a každá skupinová stupnice byly zkopírovány beze změny, pouze posunutá bitová rovina transformace vydavatele (kód „kompresních senzorů“ ukládá kód + 4„ nepodepsaný; artefakt ukládá doplňkové 3bitové kódy). Nebyl vyžádán žádný kód. Jediná odchylka hodnoty od zdroje je 218 z 240 271 360multiplikátorů: bf16 subnormálních slov, jejichž chyba zaokrouhlení FP16 je nejvýše `2**-2