⚡
Komunitní balení od RubyWitch společnosti H Company's Holo4-27B-NVFP4 ↗, s kompatibilní hlavou BF16 multi-token prediction (MTP) od Qwen/Qwen3.8-27B ↗ pro spekulativní dekódování ve vLLM.
modelový checkpoint upstream NVFP4 deklaruje jednu vrstvu MTP, ale neobsahuje její váhy. Tento balíček:
Testováno dne 2026-10-06 s nativní pracovní stanicí NVIDIA GB10 a revizí zdroje vLLM 52358e6e192ae73dd3764046c98fc4b156ea83 ↗. Použijte sestavení podporující tuto architekturu, kompresní tenzory NVFP4 a Qwen MTP; starší verze vLLM nemusí mít požadované funkce nebo příznaky.
Následující text reprodukuje testovaný 128K kontext, dva souběžné požadavky, tři spekulativní tokenyprofil. Jeho nastavení paměti je specifické pro pracovní stanici GB10 a musí být upraveno pro další hardware a pracovní zatížení.
Licence
cc-by-nc-4.0
Zaměření
image-text-to-text
Velikost repozitáře
22.1 GB
Podpora strukturovaného volání nástrojů (tool/function calling) pro agentní úlohy.
Zadej úlohu s definovanými nástroji v JSON schématu a ověř správnost volání funkcí.
Model je dostupný přes knihovnu Hugging Face Transformers. Velikost repozitáře: 22.1 GB. Licence: cc-by-nc-4.0.
