junmo-k/GLM-5.3-Flash-UNCENSORED-JK-oQ3.5e

Celkově asi 4,22 bitů na hmotnost. Bity na modul jsou zaznamenány v „config.json“ („kvantizace“).

Na jednotné 4bitové kopii základního modelu byla odborná gate_proj/up_proj každé vrstvy MoE rekvantizována na 3 bity s fixním směrováním a byla měřena relativní kvadratická chyba výstupu tohoto bloku MoE (32 oken x 512 tokenů). End-to-end KL proti odkazu nebyl použit pro hodnocení: dominují mu změny směrování a dokonce rekvantizace vrstvy při stejných 4 bitech ji posunula o 0,045 nats, zatímco NLL zůstala v rozmezí +-0.004.

Kandidátské sady byly poté porovnány pomocí end-to-end změny NLL (64 oken x 512 tokenů, vzhledem k 4bitové referenci):

512 oken x 512 tokenů odebraných ze směsi tokenů 1,84 M: vestavěný korpus oQe oMLX (60%), přepisy relací soukromých agentů (20%), noční trávení relací (10%) a technické poznámky (10%) s odstraněným obsahem souvisejícím s rodinou a tajnými řádky. Do kvantizace vstupují pouze souhrnné statistiky aktivace jednotlivých kanálů; ve vahách není uložen žádný text. Každý směrovaný odborník obdržel tokeny (5. percentil 2 179 tokenů na odborníka). Hlava MTP nemá žádné imatrixové vstupy a použití