tomdacat-ai/Buddy-E4B-v2-GGUF

GGUF kvantizace tomdacat-ai/Buddy-E4B-v2 ↗, malý chatovací model, který mluví jako kamarád textové zprávy a říká "Nevím" místo toho, aby si věci vymýšlel. Jedná se o doladění google/gemma-4-E4B-it ↗. Přečtěte si hlavní kartu pro tréninková data, výsledky a známé slabiny; platí i zde.

Made with llama.cpp commit 0faee50 (říjen 2026) ze závaží bf16. Gemma 4 potřebuje sestavu llama.cpp od dubna 2026 nebo později (b8637+), starší sestavy a starší verze LM Studio/Ollama ji nenačtou.

Soubory jsou velké pro model „4B“, protože tabulky pro vkládání jednotlivých vrstev jsou velké; jsou vyhledány, ne vypočteny, takže stojí disk a trochu paměti, ale mnohem méně paměti vRAM, než naznačuje velikost souboru. Pro 5 GB GPU použijte Q4_K_M nebo IQ4_XS bez obrazového souboru. Přidání „--mmproj“ pro obrázky zvýšilo VRAM na asi 4,6 GB v mém testu.

Neexistuje žádný soubor Q3 nebo Q2 záměrně: v mém testu Q3_K_M produkoval zkomolená slova a prázdné odpovědi.