JRamirez-UAB/NeoHorse-1-9B-EXL3-16GB-12GB

An EXL3 quantization of [TokenRhythm/NeoHorse-1-9B](https:/huggingface.co/TokenRhythm/NeoHorse-1-9B) (an agent-oriented finetune of Qwen3.5-9B) made with [exllamav3](https:/github.com/turboderp-org/exllamav3), in two sizes:

Obě jsou podávány s vLLM(kontinuální dávkování) prostřednictvím pluginu OrcaSAQ2 a našeho malého pluginu (včetně) s vložením tokenu INT8.

† Měřeno se stejnou hmotností „4,50bpw“ při 198 000 žetonech / KV 4,0e9 (vrchol 11 899 MiB, mírně nad rozpočtem 12 GB); výše uvedená konfigurace 176 000 byla poté ověřena pro paměť, jehlu, relace, obrázky a nástroje.

Pro srovnání, na stejných testech AdQWENistrator-9B (stejná velikost, také kvantifikovaná námi) skóroval 5/10 a 5/10 na 10 agentních úkolech; základna Qwen3.5-9B potřebovala ≈146k logických žetonů při „xhigh“ pro 38-39/48.