alesha-pro/Qwen3.8-Flash-Next-abliterated-GSQ-RCO-Strata-GGUF

Hmotnosti modelu v tomto repo nejsou moje. Jedná se o čtyři GSQ-RCO kvantizace Qwen3.8-Flash-Next (Q2_0, IQ2_XS, IQ3_XXS, IQ3_S) provedené laboratoří Deep Algorithms and Systems Lab v ISTA, zkopírované bajtem pro bajt z ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF ↗ při revizi ed59f92082b1e93c0e96d60a8b11aab089b52f09. SHA256 každého úlomku a projektoru Vision odpovídá jejich souborům. Viz „SHA256SUMS“.

Pokud používáte tato závaží, citujte dva papíry ISTA-DASLab. BibTeX je v dolní části této stránky.

Moje část je jeden soubor 480 KB, Huihui-Qwen3.8-Flash-Next-refusal-direction-r.gguf a níže uvedená měření. Stejný soubor slouží každé velikosti. Měřil jsem s ním IQ3_S a IQ2_XS. Q2_0 a IQ3_XXS jsou zde, protože je publikoval ISTA-DASLab a já jsem je nespustil. Původní kartu a vlastní benchmarky ISTA najdete v repozitáři ISTA-DASLab.

Sada pro Strata na jednom spotřebitelském GPU: oficiální soubory GSQ-RCO plus kontrolní vektor, který odstraňuje odmítnutí při běhu modelu. Po každé řízené vrstvě Strata odečte jeden směr „r“ od každého zbytkového proudu: