JRamirez-UAB/Qwen3.8-27B-pi-GPTQ-W4A16-g64-embed-int8-24GB

A 4-bit quantization of bytkim/Qwen3.8-27B-pi ↗ (bytkim's agent/coding fine-tune of Qwen3.8-27B for the Pi harness) for vLLM on a single 24 GB Ampere GPU (RTX 3090), with the model's MTP head (INT8) for speculative decoding. Stejný recept „v4“ jako náš Qwen3.8-27B v4 ↗: GPTQ group size 64,„embed_tokens“ a „lm_head“ v INT8a kalibrace

Stock vLLM (0.29.0 / 0.30.0) nepředává quant_config do vkládací vrstvy modelů qwen3_5, takže se modelový checkpoint s kvantovanými vloženími nenačte (žádný parametr s názvem' embed_tokens.weight_packed '). Aplikujte 4řádkovou opravu v [`patches/qwen3_5-embed-quant.patch'](patches/qwen3_5-embed-quant.patch) (from syv-ai/qwen38-27b-rtx3090 ↗, Apache-2.0):

Měřeno exllamav3's qbench (modelový checkpoint W4A16 vyhodnocen jako kopie BF16 držící dekvantizovaná závaží, transformátory):

Zprávy o instalacích, funkčních i neúspěšných, jsou velmi vítány v záložce Community ↗: GPU (s), ovladač, verze vLLM, celý příkazový řádek a výsledek (rychlost, kontext nebo chyba).