xannie1/Qwen3.8-27B-Heretic-Abliterated-Uncensored-GGUF

ARA místo toho zachází s abliterací jako s problémem optimalizace matice. U každého cílového modulu (attention out-projection a MLP down-projection) shromažďuje aktivace na „dobré“ výzvy (neškodné požadavky) a „špatné“ výzvy (škodlivé požadavky) a poté používá optimalizátor LBFGS k přepsání matice hmotnosti modulu tak, aby:

Vzhledem k tomu, že matice hmotnosti je optimalizována přímo (spíše než odečtením jednoho směru), ARA je "libovolná pozice" — může vybojovat mnohem bohatší subprostor odmítnutí-odstranění při zachování minimálního poškození chování.

Takže „heretická abliterace“ znamená: abliterace pomocí heretické sady nástrojů. RVN jde ještě o krok dále — aplikuje postup ARA celkem třikrát: jednou původním autorem („trohrbaugh“), aby se dostal ze základu Qwen3.8-27B na „-ara“, a dvakrát více námi, aby se dostal z „-ara“ na RVN a vytlačil poslední zbytková odmítnutí.

Tato práce by neexistovala bez Tima Rohrbaugha(trohrbaugh), jehož heretic-ara ↗ ARA abliterace Qwen3.8-27B (refusals 3/100, KL 0.0535) poskytla základ, který jsme upřesnili do RVN. Jeho příspěvky k heretické kódové základně — včetně funkce zachování normálních řádků a hybridní manipulace s Qwen3.5 MoE/DeltaNet — jsou přímo zodpovědné za to, že abliterace DeltaNet-vrstvy vůbec funguje. Děkuji