StillDeadcode/qwen3.8-next-flash-fp8-iq4r-moe

Úplná slovní zásoba KL divergence oproti modelu bf16, učitel nucen přes ~75 000 pozic chatu, použití nástrojů a přepisů kódu:

Směrovaní odborníci nevejdou dvě 32GB karty; motor udržuje nejžhavější v paměti vRAM a zbytek streamuje z připnutého hostitelského fondu, takže hostitel potřebuje asi 32 GB volné paměti RAM.

Na 2× Radeon AI PRO R9700 (gfx1201), jeden proud: asi 15 ms na dekódovací krok při ~ 2,4 akceptovaných žetonech na krok a ~6400 žetonů/s předvyplnění na výzvu 26K tokenu.

Server hovoří OpenAI API (/v1/chat/completions, /v1/completions), s voláním nástrojů, strukturovaným výstupem a image_url / video částmi v chatových zprávách.