liamwh/Swift-1.5-Qwen3.8-27B-W4A16-syv-fast

syv-ai/qwen38-27b-rtx3090 ↗ rychle variabilní servírovací tvarz ukisai/Swift-1.5-Qwen3.8-27b ↗, postavený výhradně z vlastních vah Swift 1.5 a výstupů potrubím v -lm_head + MTP: int4 GPTQ (g128, symetrický) kalibrovaný na vlastních skrytých stavech Swift 1.5— 300k řádků zachycených potrubím syv `drafter/'. lm_head KL do hlavy bf16:0.00221(RTN: 0.0061

Mezi seznamy Swift 1.0 a Swift 1.5 je sdíleno 21 494 ID (Jaccard 0,724; 3 791 ID se objevuje pouze v 1,5, 4 385 pouze v 1,0). Poctivé čtení těchto čísel: slovní zásoba byla přestavěna z vlastních výstupů 1,5, spíše než přenesena, a měření říká, že obě distribuce jsou dostatečně blízko, že buď seznam návrhů 1,5 na ~ 99,8% — aktualizace Swift po tréninku posunula distribuci výstupu mnohem méně než krok Qwen→ Swift (seznam base-Qwen stále chybí

Určeno pro zásobník syv pro jednoho uživatele (řada záplat vLLM 0.28.0 + repo — pro 25 285řadou hlavu je vyžadována záplata MTP draft-vocab; zásobník vLLM ji nepoužije):

Syv 'verify.sh` na revizi připnutého obrázku hlásí jednu falešnou CHYBU na tomto adresáři (tvrdí int8 lm_head; to je int4 konstrukcí, jako oficiální rychlá varianta).