logic65/Whittle-Qwen-3.8-45B-A3B-GGUF

Současná vlajková loď Whittle, Whittle-Qwen-3.8-35B-A3B ↗, s 76 odborníky na vrstvu, kterou její odborník odstranil z Qwen3.6-35B-A3B ↗. Tělo je zpět na 256 směrovaných odborníků na vrstvu, paměť 10 B n-gramů je zachována a po spojení nebylo nic rekvalifikováno. 45.1 B celkem(35.1 B tělo + 10.0 B paměť, počítáno z tohoto GGUF),~3 B aktivní(8 z 256

Proti 35B zná více long-tail faktů, kóduje přinejmenším stejně dobře a skóruje 96/96 na našich sondách pro použití nástrojů; je slabší na aritmetických slovních úlohách a potřebuje o 5,8 GB více paměti. Podrobnosti v části Měřeno.

Paměťová tabulka je cca 5,6 GB Q4_K_M (10,5 GB Q8_0). Jedná se o vyhledávání, jeden řádek na token na hlavu, takže jej uchovávejte v systémové paměti RAM s „-ot per_layer_token_embd =CPU“: GPU pak drží 256-expertní tělo (21,5 GB na Q4_K_M). Požadavky K byly rekantizovány z Q8_0. Zatím ne Q6_K.

Skladujte llama.cpp na dvou GPU T4, jeden vzorek na položku. Řádky znalostí jsou výzvy cloze skórované při chamtivém surovém dokončení; vše ostatní prochází koncovým bodem chatu se vzorkovačem karty („teplota 0,7, top_p 0,8, top_k 20, repeat_penalty 1,05“) a přemýšlí. Ostatní kolony běžely na stejném postroji: 35B na Q6_K (jeho EvalPlus na Q5_K_M) a základna Qwen3.6-35B-A3B na Q4_K_M (bartowski ↗, důležitost