Cropduster69/GLM-5.3-Flash-oQ2e-mtp

2bitová imatrixkalibrovanákvantizace oQ (oQ2e) zai-org/GLM-5.3-Flash ↗, postavená lokálně na Mac Studiu M4 Max (128 GB) s oQ kvantizerem oMLX ↗. Hlava MTP (nextn) je zachována a kalibrovánajako páteř.

Takže směrovaní odborníci nesou 2bitový rozpočet (to je místo, kde oQ2 tráví), zatímco pozornost, sdílení odborníci a hlava zůstávají chráněni — plus odborníci MTP hlavy jsou zvýšeni na 4 bit, což je levné, protože hlava je jedna vrstva.

Imatrix se shromažďuje ze skutečných závaží FP8. Jednotný 4bitový kalibrační proxy (~181 GB rezident) nevejde 128 GB stroj (0,75 * kapacita = 92,8 GB), což je důvod, proč byla potřeba cesta streamování — viz jundot/omlx#4173 ↗ a jundot/omlx#4174 ↗ (CI zelená; také opravuje dvě glm5_next MTP-head/imatrix chyby nalezené při ověřování: rezidentní head pass je pro tuto rodinu přeskočen,

Nebyl spuštěn žádný systematický benchmark. Krátké sondy na stroji nad měřenými nízkými až středními desítkami tokenů/s v závislosti na výzvě a zahřátí; předplnění dominuje čtení ~95 GB expertních tabulek z disku (offload on).