A NInfer ↗ v3artefakt Google's quantization-aware-trained Gemma 4 26B-A4B it ↗ spolu s jeho QAT multi-token-prediction assistant and its vision tower, for NInfer-all, the master branch of iamwavecut/ninfer-all ↗. Každá matice modelu uchovává bajt ggml bloků uvolnění pro bajt, takže nic není rekvantizováno; eng
Spouští celý model: obrázky a video vedle textu, jeden až osm souběžných požadavků s opakovaným použitím s rychlou opravou (včetně obrázků), strukturovaný výstup, volání nástrojů v značce Gemmy se vrátily jako volání nástroje OpenAI a uvažování ve svém vlastním kanálu, když se požadavek zapne.
Jeden soubor „.ninfer“ 15 838 003 712 bajtů (14,75 GiB; SHA-256 „cc84eea7531a6ac2117585fd3a96ef13b773f3bc67ff1d85d30da122302519ff“), vedle zprávy o převodu, „SHA256SUMS“ a „1 061 parametrů v Q4_0 (199 objektů), Q6_K (1), BF16 (111) a FP32 (580).
Příkaz ke konverzi ze stromu úložiště na '877fe16es úložištěm QAT GGUF při revizi d1c082be ( gemma-4-26B_q4_0-it.gguf , sha256 3eca3b8f… ; gemma-4-26B-it-mmproj.gguf , sha256 a359953a… ), Unsloth's GGUF na 7b92b5b2 ( mtp-gemma-4-26B-A4B-it.gguf , sha256 7272d975… ) a textové soubory Hugging Face na 4d7ae498 `:
