roman220220/FrogNano-4B-2609-gptq-mlx-jang-ipsupport-code-lora

Toto sestavení MLX proti sloučenému modelu bf16: wikitext-2 PPL 12.308 (+1,2 %), kód 3.224 (+1,7 %).

Při pozdravech a krátkých rozhovorech s dostupnými nástroji („привет“, „díky“, „co můžete dělat?“, „ок, понял“ … 8 zpráv × 10 vzorků) je přímá odpověď správná a volání nástroje není:

Qwen3.5 multi-token-prediction head is kept, GPTQ 4-bit, in model-mtp.safetensors (68 MB). LoRA přesunula skryté stavy, které hlava čte, takže hlava byla rekvalifikována na sloučeném modelu(páteř zmrazena; konverzace agenta plus wikitext a kód). S vidlicí ipsupport-llc/mlx-lm ↗ kreslí tokeny a model je kontroluje: stejný výstup jako bez něj, rychleji.

Zásoba „mlx-lm“ spustí hlavu na nákladu. LLMTray jej používá, když je v profilu modelu zapnuto „Spekulativní dekódování (MTP)“.