S4MPL3BI4S/Coding_Decision_Agent

Rozhodovací model Laya ↗ byl vyladěn tak, aby hodnotil práci kódovacího agenta. Nepíše kód a nevydává prózu. Vzhledem ke stavu (diff, volání nástroje, trasování agenta nebo požadavek uživatele) a pevné sadě zadaných otázek vrací štítek a kalibrovanou pravděpodobnost pro každou možnost v jednom dopředném průchodu.

Kód školení je MIT a po zveřejnění žije v repozitáři GitHub propojeném z postranního panelu modelové karty. Tyto váhy jsou derivátem convaiinnovations/laya (Apache-2.0), takže modelový checkpoint zůstává Apache-2.0.

„přesnost“ je argmax proti zlatému štítku. „měkká přesnost“ je tečkový produkt distribuce zlata a předpokládané distribuce. Sebevědomí je teplotně odstupňováno podle typu otázky na řezu, který byl vyřazen ze školení.

Znění otázky je pevné. Použijte stejné znění, na jakém byl model vyškolen; je dodáván v balíčku „coding_decision_agent“ a v „configs/schema.py“ školicího repozitáře.