⚡
oQ4e smíšená přesná kvantizace MLX Qwen/Qwen3.5-9B ↗, provedená pomocí oMLX ↗ oQe (v0.7.1.dev1). Toto je sestavení bf16. Hlava předpovědi více tokenů (MTP) je zachována a věž Vision je součástí dodávky.
oQe nastaví šířku bitu základny na úroveň a zvedne nad ni citlivé vrstvy (například „oQ4e“ používá 4bitovou základnu s některými projekcemi na 5-6 bitů) a zvolí měřítko a zkreslení každé váhové skupiny pomocí matice důležitosti z kalibračních dat. Tyto sestavy zahrnují oMLX's weighted least-squares refit of group scales and biases (jundot/omlx#4385 ↗). Na ekvivalentních sestavách tohoto modelu REFIT snížil KL o 17-21% na každé úrovni oproti
chat_template.jinja is froggeric's v22.5(froggeric/Qwen-Fixed-Chat-Templates ↗, Apache-2.0), not Qwen's official template. Qwenův originál je uveden jako „chat_template.jinja.official“.
Pro prostý chat, s nebo bez systémové výzvy, tyto dva produkují stejné výzvy. Liší se v: - Historie uvažování:Dřívější uvažování zůstává ve výzvě, místo aby bylo zrušeno. -Volání nástroje:text instrukce nástroje je přepsán a argumenty nástroje JSON-string (zaslané klienty ve stylu OpenAI) se vykreslí místo vyvolání chyby. -Systémové zprávy:několik hlavních systémových zpráv se místo chyb sloučí.
Licence
apache-2.0
Zaměření
image-text-to-text
Velikost repozitáře
5.8 GB
Podpora strukturovaného volání nástrojů (tool/function calling) pro agentní úlohy.
Zadej úlohu s definovanými nástroji v JSON schématu a ověř správnost volání funkcí.
Model je dostupný přes knihovnu Hugging Face Transformers. Velikost repozitáře: 5.8 GB. Licence: apache-2.0.
