b2z/GLM-5.3-Flash-MLX

MLX build of the official zai-org/GLM-5.3-Flash ↗ — a320B-total/18B-active MoE, první nativně multimodální model v sérii GLM-5, postavený na nové hybridní architektuřeglm5_next(řídká + lineární pozornost s hyperkonekcemi Manifold-Constrained Hyper-Connections) — kvantováno naMLX proApple Silicon a MLX CUDA backend. Pět sestavení (2bitová / 2 / 3 / 4 /6bitová) se dodává jako podsložky s4bitovou

kořen úložiště je zrcadlem 4-bit/, takže `orcarouter/GLM-5.3-Flash-MLX' se vyřeší na doporučenou výchozí hodnotu bez potřeby podsložky.

Kvantizováno z oficiálního vydání FP8. Výše uvedené šířky bitů jsou přesnostízákladny; níže uvedené zásady OrcaSAQ zvedají citlivé tenzory nad základnu. Velikost skupiny je 64 pro 4/6 bitů, 32 pro 2/3 bitů (sdílení odborníci vždy používají 64) a 128 po celou dobu „2bit-lite“.

Nebyla vytvořena žádná 8bitová sestava. „2bit-lite“ se řídí samostatným receptem, který je první na paměť — viz níže.