webmp3/Sakura-granite-4.2-8b-GGUF

granite-4.2-8b je IBM 8B hustý model instrukcí a uvažování s voláním nástrojů a vícejazyčnou podporou (angličtina, němčina, španělština, francouzština, japonština, portugalština, arabština, čeština, italština, korejština, holandština, čínština). Toto úložiště obsahuje tři soubory GGUF různé velikostivyrobené z závaží BF16 s naší měřenou metodou smíšeného kodeku. Vyberte jeden na stránce Soubory; níže uvedená tabulka uvádí, co je každý soubor. Nezávislá kvantizace komunity, neoficiální verze IBM. Část

Stejná metoda, stejné texty, stejný stroj pro každý soubor; nižší KL divergence znamená blíže originálu BF16:

Proč: bitový rozpočet na tenzor je přidělen z naměřené citlivosti (viz Jak byl vytvořen), nikoli z pevných pravidel. Úplná tabulka níže.

"Typy tenzorů podle velikosti" uvádí podíl bajtů souboru na typ ggml (všechny jsou standardní typy llama.cpp, takže soubory běží v zásobě llama.cpp). Sloupce kvality: znamenají KL divergenci distribuce dalšího tokenu kvantizovaného modelu proti zdroji BF16 na vynechaném textu (nižší je lepší) a jak často se nejpravděpodobnější token nemění (vyšší je lepší).