Úplné uvažování třídy 27B v ternárních závažích transformátoru, pro llama.cpp (CUDA, Metal, CPU)
Každá váha má hodnotu od {−1, 0, +1}, s jedním sdíleným faktorem měřítka FP16 pro každou skupinu 128 vah. Ternární hodnota nese log₂3 ≈ 1,585 bitů informací, takže efektivní náklady na ukládání formátu jsou ~1,71 bitů/hmotnost(ternární kód + 16bitová stupnice amortizovaná nad 128 vah); počítání malé sady tenzorů držených nad ternární reprezentací přináší model jako celek na 1,72 bitů/hmotnost— idealizované ~ 9,3x snížení oproti FP16.
Váhy jsou uloženy na rotovaném základě: každá matice je transformována blokově ortogonální Hadamardovou rotací před ternárním přiřazením a doba běhu aplikuje odpovídající transformaci na aktivace. Rotace je složena do uložených vah offline, takže to nestojí žádné další bity a žádný další váhový provoz; zabalený model deklaruje svou rotaci jako metadata, takže runtime buď použije odpovídající transformaci, nebo odmítne načíst soubor.
Praktické nasazení vyžaduje balící formáty, které mohou efektivní jádra spotřebovat, a tento repozitář dodává dva: PTQ1_0balíčky hustě a přistávají v podstatě na informačním teoretickém cíli, zatímco PQ2_0ukládá každý trit do 2bitového slotu, obchodní stopu pro levnější rozbalení. Ani jeden není rovnoměrně rychlejší — viz níže uvedená tabulka propustnosti, kde každý vyhrává. Tyto velikosti popisují samotný jazykový model, jedinou složku, která musí zůstat rezidentní pro odvození textu; 26.
