roman220220/Ornith-1.5-35B-A3B-gptq-mlx-jang

Bity podle komponent, stejné v každé vrstvě, kalibrované GPTQ (Hessovská kompenzace chyb na afinní mřížce MLX). Každý směrovaný odborník je kalibrován na tokenech, které mu směrovač odešle, a soubory MLX nesou vlastní kódy, váhy a zkreslení GPTQ.

Kalibrace: 128 kusů 512 tokenů, napůl vlakový wikitext-2 a napůl zdrojový kód Pythonu, vrstva po vrstvě (každá vrstva na výstupech již kvantovaných), na jednom A100.

Směrovaní odborníci drží 32,2 B z 35 B parametrů, takže nastavují velikost: při 3 bitech jsou 14 GB ze 17. Vlastní rekvantizace kalibrovaných vah MLX by změnila 8,3 % zabalených kódových slov (chybová zpětná vazba GPTQ ponechává extrémy skupiny nepoužité a MLX převádí mřížku z min / max); soubory místo toho nesou kódy GPTQ.

Jedná se o čísla jazykového modelování. Kódovací a agentské benchmarky na kartě základního modelu jsou Ornith AI, pro model bf16; na této kvantizaci nebyly znovu spuštěny.