davetha/Huihui-Qwen3.8-27B-abliterated-AutoRound-Int4-baked-embed-int8

4bitové sestavení huihui-ai/Huihui-Qwen3.8-27B-abliterated ↗ (abliterated, i.e. refusal-removed, version of Qwen/Qwen3.8-27B ↗) vytvořené pro jeden Intel Arc Pro B70 (32 GB)pod vLLM XPU. Následuje recept ukisai/Swift-1.5-Qwen3.8-27b-W4A16-AutoRound ↗ pro tělo a Wrapziiho [Swift 1.

Hmotnosti rezidentní na GPU: 14,75 GiB(oproti 18,28 GiB pro sestavení GPTQ, které udržuje hustotu lm_head / MTP), což ponechává prostor pro úplný262 144-tokenkontext na jedné 32 GB kartě (vLLM hlásí 319K-token KV pool s fp8 KV).

Husté vkládání je stále ve střepech, takže nakladače zásob fungují; vkládání INT8 se projeví pouze za běhu, který čte embed_tokens_quant (opravený obrázek níže).

WikiText-2 test zmatenosti, 40 bloků x 2 048 tokenů (81 880 bodovaných tokenů), stejné bloky tokenů pro oba, vypočtené z vLLM prompt_logprobs na B70: