⚡
statické kvantizace jsou k dispozici na https://huggingface.co/mradermacher/Holo4-27B-Abliterix-GGUF ↗
Pokud si nejste jisti, jak používat soubory GGUF, podívejte se na jeden z TheBloke's READMEs ↗ pro více podrobností, včetně toho, jak zřetězit vícedílné soubory.
(seřazeno podle velikosti, ne nutně kvality. IQ-quants jsou často upřednostňovány před podobně velkými non-IQ quants)
Zde je šikovný graf od ikawrakow porovnávající některé kvantové typy s nižší kvalitou (nižší je lepší):
Licence
cc-by-nc-4.0
Velikost repozitáře
279.7 GB