satoshifukimoto/Underdog-Saluki-27B-1.0-IQ2-mix-NInfer-v3

A NInfer ↗ v3artefakt ConwayResearch/Underdog-Saluki-27B-1.0 ↗ (asi 2 bity na hmotnost) pro NInfer-all, „hlavní“ větev iamwavecut/ninfer-all ↗. Každý kvantovaný tenzor GGUF udržuje svůj bajt ggml bloků pro bajt, takže nic není rekvantizováno a motor násobí bloky na místě. Sklad NInfer sestavuje odmítnutí

GGUF ukládá ssm_alpha a ssm_beta jako bloky Q8_0, které tools/convert v současné době odmítá; tento artefakt byl převeden pomocí dvoumístné opravy, podané proti proudu jako iamwavecut/ninfer-all#15 ↗. Ovládací prvky Q8_0 jsou v artefaktu dekvantizovány na BF16.

Jeden soubor „.ninfer“ o velikosti 11,180,119,296 bajtů (10,41 GiB; 8,33 GiB vah rezidentních s drafterem MTP, 9,98 GiB s DFlash2) vedle zprávy o převodu „SHA256SUMS“, „