arcitech-psp/Holo4-27B-AutoRound-W4A16

Jedná se o 4bitovou kvantizaci AutoRound původních závaží BF16, ověřenou na jediném počítači Intel Arc Pro B70 (32 GB)s vLLM.

Nejedná se o oficiální vydání společnosti H. Všechny schopnosti pocházejí z Holo4; kvantifikovali jsme a měřili.

1. Kvantizováno z původních závaží BF16 společnosti H Companys Intel AutoRound ↗ 0,16,0, blok po bloku na B70:

2. Připojena hlava návrhu MTP pro spekulativní dekódování.- Holo4 není dodáván s vícerozměrnou předpovědí. - Připojili jsme BF16 MTP hlavu základního modelu, Qwen/Qwen3.8-27B ↗, nezměněná (model-mtp.safetensors). - Naměřená akceptace: ~56%, průměr ~ 2,7 žetonů na krok se 3 tokeny konceptu.