StillDeadcode/swift1.5-qwen3.8-next-flash-fp8-iq4r-moe

Karta zdrojového modelu popisuje, jak byl trénován, jak byl hodnocen a k čemu slouží.

Finetune změnila pozornost, delta-net a projekce sdílených odborníků a nechala směrované odborníky tak, jak byli. Jeho nová pozornost však vede odborníky jinak: s pravidlem ochrany základního modelu aplikovaným na vlastní záznam se šestnáct odborníků kvalifikuje místo deseti základních modelů, mezi nimi i odborníci na rané vrstvy, kteří základní model téměř nepoužívají (expert 108 vrstvy 4 nese 15,8% energie jeho vrstvy z 0,18% směrování).

Tento soubor nebyl měřen s vlastními váhami bf16. Pokud jde o chybu receptu, stejný recept na základním modelu (s kalibrací 10M tokenů; na zadržených datech 1M token opustil výstupní chybu odborníků v rámci 1%), jako úplná slovní zásoba KL divergence proti jeho bf16, učitel nucený přes ~75K pozic chatu, použití nástrojů a přepisů kódu:

Před nahráním byla doručena na jeden Radeon AI PRO R9700 (--tp 1, 32K kontext): aritmetika, vícestupňový slovní problém, volání nástroje, popis obrázku a čtyři souběžné požadavky, vše zodpovězeno správně, přičemž bylo přijato 62-88% návrhů MTP.