mradermacher/loopl-4b-i1-GGUF

Pokud si nejste jisti, jak používat soubory GGUF, podívejte se na jeden z TheBloke's READMEs ↗ pro více podrobností, včetně toho, jak zřetězit vícedílné soubory.

(seřazeno podle velikosti, ne nutně kvality. IQ-quants jsou často upřednostňovány před podobně velkými non-IQ quants)

Zde je šikovný graf od ikawrakow porovnávající některé kvantové typy s nižší kvalitou (nižší je lepší):

A zde jsou názory Artefact2 na tuto záležitost: https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9 ↗