webmp3/Sakura-MiMo-V2.6-Distill-Qwen-9B-GGUF

MiMo-V2.6-Distill-Qwen-9B je 9B agentní model od Xiaomi MiMo: Qwen3.5-9B vyladěný na MiMo generovaných datech pro kódování, použití nástrojů a obecné úlohy agenta (multimodální architektura Qwen3.5). Toto úložiště obsahuje tři soubory GGUF různé velikostivyrobené z závaží BF16 s naší měřenou metodou smíšeného kodeku. Vyberte jeden na stránce Soubory; níže uvedená tabulka uvádí, co je každý soubor. Nezávislá kvantizace komunity, neoficiální vydání Xiaomi MiMo. Část**[S

Stejná metoda, stejné texty, stejný stroj pro každý soubor; nižší KL divergence znamená blíže originálu BF16:

Proč: bitový rozpočet na tenzor je přidělen z naměřené citlivosti (viz Jak byl vytvořen), nikoli z pevných pravidel. Úplná tabulka níže.

"Typy tenzorů podle velikosti" uvádí podíl bajtů souboru na typ ggml (všechny jsou standardní typy llama.cpp, takže soubory běží v zásobě llama.cpp). Sloupce kvality: znamenají KL divergenci distribuce dalšího tokenu kvantovaného modelu proti zdroji BF16 na zadrženém textu (nižší je lepší) a jak často je nejpravděpodobnější token nezměněn (vyšší je lepší). - mmproj-MiMo-V2.6-Distill-Qwen-9B-f16.gguf: vision projector (beze změny z Bartowského konverze F16).