shawnw3i/Qwopus3.8-27B-Flash-V2-abliterated-exl3-6.0bpw

~22 GB na disku. Běží na jednom 24GB GPU při mírném kontextu. Hlava MTP (multi-token prediction) je neporušená, takže návrh spekulativního dekódování funguje.

Kvantizováno z plně přesných abliterovaných vah (přesný model v propojeném repo) — nic jiného se nezměnilo: stejný tokenizer, šablona chatu, konfigurace generování a hlava MTP.

Plus config.json (s mtp_num_hidden_layers: 1), quantization_config.json, soubory tokenizer, generation_config.json a konfiguruje procesor/preprocesor. Všech 39 tenzorů „mtp.*“ je přítomno (kvantifikováno rychlostí MTP), takže spekulativní dekódovací hlava je plně funkční.

Vyžaduje sestavení exllamav3llama.cpp, verze 1.5.3 nebo novější — vanilla llama.cpp nenačte EXL3.