mertkayacs/Tholos-2B-GGUF

GGUF sestavy Tholos-2B ↗, MiniCPM5-2B vyladěné tak, aby byly činidlem v Tholos ↗. Hlavní karta má formát kroku, údaje o školení a výsledky benchmarku. Tato stránka obsahuje soubory a příkazy.

Soubor repo 'SHA256SUMS` uvádí stejné částky. Q4_K_M je soubor, který náš benchmark používá.

Vyměňte Q4_K_M za Q8_0 pro načtení většího souboru. Pošlete formát odpovědi json_schemas každým požadavkem, aby server omezil dekódování; hlavní karta ↗ má úplný požadavek.

Repa nese soubor „šablony“ a „parametrů“. Šablona vykresluje výzvu ke způsobu, jakým byl model vycvičen, s prázdným blokem myšlení před každou odpovědí a odpovídá tréninkovému bajtu vykreslení pro bajt. Soubor Params nastavuje stop tokeny a kontext 16 384 tokenů (výchozí hodnota Ollamy je 4 096).