JRamirez-UAB/Ornith-1.5-9B-EXL3-16GB-12GB

Kvantizace EXL3 potrubí ornith-ai/Ornith-1.5-9B ↗ provedená pomocí exllamav3 ↗ bitové alokace („SC“) na tenzor s naší vlastní kalibrací ve dvou velikostech:

Obě jsou podávány s vLLM(kontinuální dávkování) prostřednictvím pluginu OrcaSAQ2 a našeho malého pluginu (včetně) s vložením tokenu INT8.

† Chybějícím agentem je vždy výše popsaný překlad názvu souboru; s názvy souborů v backtickech, 16/16 (měřeno na obou sazbách).

Jak to číst: - KLD: střední / medián KL divergence distribuce dalšího tokenu proti BF16 Ornith-1,5-9B, měřeno exllamav3's 'qbench. První obrázek používá interní vyhodnocovací sadu sysadmin/agent (nezveřejněno);pub.používá veřejnou stopu „qbench_prompts_gen.json“ turboderpu, takže ji může reprodukovat kdokoli. Hluková podlaha (BF16 proti sobě): 0,0009 / 0,0007. Nižší je lepší. Na stejných textech je zmatek. -Kontext: --max-model-len` ověřeno pomocí M