oQ5e smíšená přesná kvantizace MLX Qwen/Qwen3.6-27B ↗, provedená pomocí oMLX ↗ oQe (v0.7.1.dev1). Toto je sestavení fp16. Hlava předpovědi více tokenů (MTP) je zachována a věž Vision je součástí dodávky.
oQe nastaví šířku bitu základny na úroveň a zvedne nad ni citlivé vrstvy (například „oQ4e“ používá 4bitovou základnu s některými projekcemi na 5-6 bitů) a zvolí měřítko a zkreslení každé váhové skupiny pomocí matice důležitosti z kalibračních dat. Tyto sestavy zahrnují oMLX's weighted least-squares refit of group scales and biases (jundot/omlx#4385 ↗). Ve srovnání s dřívějšími sestavami oQe tohoto modelu (sestavy pre-oMLX 0.7.1), tyto sestavy lo
chat_template.jinja is froggeric's v22.5(froggeric/Qwen-Fixed-Chat-Templates ↗, Apache-2.0), not Qwen's official template. Qwenův originál je uveden jako „chat_template.jinja.official“.
Pro prostý chat, s nebo bez systémové výzvy, tyto dva produkují stejné výzvy. Liší se v: - Historie uvažování:Dřívější uvažování zůstává ve výzvě, místo aby bylo zrušeno. -Volání nástroje:text instrukce nástroje je přepsán a argumenty nástroje JSON-string (zaslané klienty ve stylu OpenAI) se vykreslí místo vyvolání chyby. -Systémové zprávy:několik hlavních systémových zpráv se místo chyb sloučí.
