Komunitní konverze MLX OS-Software/Ternary-Bonsai-2-27B-Uncensored-Heretic-v2-GGUF ↗, s nezměněnou vizionářskou věží z Prism ML's Bonsai 2 MLX pack ↗. Váhy Safetensorů zabírají 8 595 478 392 bajtů, přibližně8,60 GB(8,01 GiB), včetně vidění.
Publikované jazykové váhy byly přebaleny z Heretic v2 PQ2_0do úložiště MLX affine 2-bit/group-128 bez další kvantizace nebo tréninku. Toto úložiště také dokumentuje konverzi z hustšího balení zdrojového modelu PTQ1_0. Obě konverzní cesty produkují nativní úložiště MLX 2-bit/group-128; konverze PTQ1_0 nevytváří 1,75bitový formát MLX. Původní vývojáři jsou připsáni níže.
Použijte mlx-vlm 0.7.2 s nativní podporou PRISM_hadamard_qwen35. Tento model ukládá své jazykové váhy na rotačním základě. Nakladač musí použít odpovídající aktivační transformace Hadamard a vyhledávání vkládání. Obecné nakladače MLX nebo Transformers, které tyto operace vynechávají, mohou produkovat nesprávný výstup. Uchovávejte soubory „config.json“, „hadamard.json“, tokenizer a procesor spolu s váhami.
Soubory modelu jsou určeny pro Apple Silicon Mac (M1 nebo novější) s dostatečnou jednotnou pamětí a sestavením macOS/Python podporovaným připnutým runtime. Nejsou specifické pro hardware M1. Tato konverze byla vytvořena a testována na Apple M1 Max s 64 GiB sjednocenou pamětí; ostatní modely Mac nebyly pro tuto verzi testovány. Pouhá možnost spouštět MLX je nedostatečná: nakladač musí podporovat architekturu tohoto modelu s podporou Hadamarda. Viz [Požadavek na instalaci MLX
