mradermacher/MiMo-Negentropy-9B-AGSI-i1-GGUF

statické kvantizace jsou k dispozici na https://huggingface.co/mradermacher/MiMo-Negentropy-9B-AGSI-GGUF ↗

Pokud si nejste jisti, jak používat soubory GGUF, podívejte se na jeden z TheBloke's READMEs ↗ pro více podrobností, včetně toho, jak zřetězit vícedílné soubory.

(seřazeno podle velikosti, ne nutně kvality. IQ-quants jsou často upřednostňovány před podobně velkými non-IQ quants)

Zde je šikovný graf od ikawrakow porovnávající některé kvantové typy s nižší kvalitou (nižší je lepší):