cafonez/GLM-5.3-Flash-Gorgon-GGUF

3.84 bpw GGUF zai-org/GLM-5.3-Flash ↗ (celkové parametry 320.8B, MoE s 288 odborníky, TOP-8), dimenzováno tak, aby plně běželo na GPU 192 GB AMD Ryzen AI Max 400 ("Gorgon Halo") Framework Desktop.

Routovaní odborníci nesou téměř všechna závaží, takže dostávají nízkobitové typy; vše, co každý token prochází, zůstává na 5 bitech nebo více.

Vyrobeno z Unsloth GLM-5.3-Flash UD-IQ4_XS GGUF a jeho matice důležitosti (glm-imatrix.gguf), vyžadující pozornost a husté tenzory Q5_K a směrovaných odborníků, jak je uvedeno výše. Soubor byl poté převeden z rozvržení před sloučením „glm5next“ na sloučené rozvržení „glm5-next“: klíče přejmenovány, „indexer.kpool_select_tail = true“ a „indexer.types“ (všechny „plné“) převzaty z oficiálního „text_config“ a odborníci na bránu/nahoru uloženi jako samostatné tenzory. Převod je bajt

AMD Ryzen AI Max+ PRO 495 / Radeon 8065S, 192 GB LPDDR5X, Ubuntu 26.04, jádro 7.0, Mesa 26.0.8 RADV, backend Vulkan. ROCmFPX se synchronizací GLM-5.3 (ROCmFPX #34 ↗) a dvěma předvyplněnými PR GLM (#35 ↗, #36 ↗). llama-bench -fa 1 -b 2048 -ub 2048, 3 spuštění: