RedHatAI/Qwen3.5-35B-A3B-quantized.w8a8

Tento model je kvantizovanou verzí Qwen/Qwen3.5-35B-A3B ↗. Byla hodnocena na několika úkolech s cílem posoudit její kvalitu ve srovnání s nekvantizovaným modelem.

Tento model byl získán kvantizací vah a aktivací Qwen/Qwen3.5-35B-A3B ↗ na datový typ Int8, připravený pro inferenci s vLLM.

Tato optimalizace snižuje počet bitů na parametr ze 16 na 8, čímž se snižuje velikost disku a nároky na paměť GPU přibližně o 50%.

Pomocí LLM Compressor ↗ jsou kvantifikovány pouze váhy a aktivace lineárních operátorů. Vrstvy, jako je vizuální enkodér, lineární pozornost (Gated DeltaNet), brány routeru MoE, sdílení odborníci, vložení tokenů a vrstvy MTP, jsou udržovány v původní přesnosti.