JRamirez-UAB/clef-GPTQ-W4A16-g64-embed-int8

4bitová kvantizace váhy Cloudflare/clef ↗, Cloudflareho rozhodovací model: páteř Qwen3.8-27B plus "společná hlava schématu", která skóruje každou možnost každé otázky ve schématu (volba / skóre /true-false) v jednom dopředném průchodu. Nevytváří text.

Test: 50 záznamů sysadmin ve španělštině, 68 otázek se známými odpověďmi: riziko příkazu shellu(pouze pro čtení / reverzibilní / destruktivní, 32 otázek) a prořádky protokoludotčenou součást (GPU / disk / síť / paměť / přístup / služba, 18) a zda musí někdo jednat (18). "KL" je KL divergence pravděpodobností možností každé otázky (BF16 → tento modelový checkpoint), zprůměrovaná přes 68 otázek.

68 otázek je malý test: považujte rozdíly ±0,001 v KL za orientační. Vše měřeno na jedné NVIDIA L40S (48 GB).

Sklad vLLM nepředává quant_config do vkládací vrstvy qwen3_5 -rodinných modelů, takže se modelový checkpoint s kvantizovanými vloženími nenačte (no parameter named' embed_tokens.weight_packed '). Aplikujte 4řádkovou opravu v [`patches/qwen3_5-embed-quant.patch'](patches/qwen3_5-embed-quant.patch) (z syv-ai/HyperQwen ↗, Apache-2.0). Testováno s vLLM 0.31: