FP8 (W8A8) quantization with block-scaled weights and dynamic activations of [ThinkingCap-Qwen3.8-27B-abliterated](https:/huggingface.co/IstroSec/ThinkingCap-Qwen3.8-27B-abliterated), the uncensored variant of [bottlecapai/ThinkingCap-Qwen3.8-27B](https:/huggingface.co/bottlecapai/ThinkingCap-Qwen3.8-27B).
Vyrobeno s llm-compressor ↗ 0.14.0, schéma „FP8_BLOCK“: závaží FP8 (E4M3) s jednou stupnicí na 128×128 bloků, vstupní aktivace FP8 kvantované v době běhu na token ve skupinách po 128. Bez dat: není nastavena kalibrace. Kolo na blok bez dat je deterministické konstrukcí, takže stejný příkaz se stejnými verzemi knihovny by měl dát stejnou sestavu; toto nebylo zkontrolováno přestavbou.
Quantized: každý Linear v textovém dekodéru: 64 MLP, 16 vrstev s plnou pozorností ' q/k/v/o_proj a tři velké projekce Gated DeltaNet ( in_proj_qkv , in_proj_z , out_proj ) v ostatních 48 vrstvách. Každý z nich má oba rozměry dělitelné 128 (zkontrolováno před kvantizací), takže žádný blok není polstrovaný.
Každá stupnice bloku patří k jedné 128×128 dlaždici jedné vrstvy, takže stupnice zůstávají správné, když vLLM běží in_proj_qkv a in_proj_z jako jeden sloučený GEMM: tato sestava nepotřebuje žádnou speciální manipulaci s měřítkem. (Sestava NVFP4 ano, viz její karta.)
