NVIDIA zveřejnila na GitHubu sadu nazvanou DOCA AI agent skills. Podle firmy má AI agentům při vývoji na platformě DOCA poskytnout ověřené podpisy API, požadavky na hardwarové schopnosti a omezení při sestavování kódu. Tým NVIDIE sadu zkoušel na 65 reálných vývojářských promptech a porovnával výkon agentů s ní i bez ní. Podle jeho vyhodnocení splnili agenti bez skills jen 19 % položek kontrolního seznamu, zatímco agenti se skills dosáhli ve všech 65 promptech 100 %. Všechny údaje v článku uvádí NVIDIA a text je podává jako její tvrzení. Dále popisujeme, co sada obsahuje, jak test probíhal a jaké příklady firma uvádí.
Co sada obsahuje
Skills mají podle NVIDIE otevřený a odlehčený formát. Je postavený na souboru SKILL.md, který obsahuje skutečné signatury API, požadavky na hardwarové schopnosti a omezení sestavení. Právě tyto tři okruhy tvoří podle popisu obsah souboru. Sada je určená pro vývoj na platformě DOCA a je dostupná na GitHubu. Firma ji představuje jako zdroj ověřených podpisů API, hardwarových požadavků a omezení při sestavování kódu, které mají agenti k dispozici při práci s DOCA.
Jeden skill pro jednu oblast
Každý skill se podle NVIDIE týká konkrétní komponenty nebo workflow DOCA. Jako příklad firma uvádí skill pro DOCA Flow. Když si ho agent načte, získá skutečné signatury funkcí a správné názvy modulů pkg-config. Dostane také omezení build kontejneru a seznam častých chyb spolu s tím, jak je řešit. Skills jsou tedy členěné podle jednotlivých komponent a pracovních postupů platformy DOCA.
Proč univerzální agent podle NVIDIE chybuje
NVIDIA vychází z toho, že univerzální AI agent při práci s DOCA nečerpá z ověřených API kontraktů, manifestů hardwarových schopností ani specifikací sestavovacího systému. Podle firmy spoléhá na hledání vzorů v obecných trénovacích datech. Jako příklady úloh uvádí nastavení DOCA Comch (Comm Channel), konfiguraci RDMA kontextu nebo ladění selhání linku v programu DOCA Flow. Firma dodává, že knihovna DOCA je rozsáhlá, rychle se vyvíjí a je hardwarově specifická způsobem, který obecná trénovací data nezachycují.
Jak se to podle NVIDIE projevuje v praxi? Agenti bez skills generují kód, který odkazuje na funkce DOCA, jež v knihovně neexistují. Používají přepínače s nesprávnými názvy a uvádějí image tagy, které selžou až za běhu. NVIDIA tyto tři druhy chyb uvádí v popisu práce agentů bez skills.
Jak NVIDIA rozdíl změřila
Aby rozdíl vyčíslil, spustil tým NVIDIE 65 reálných vývojářských promptů pro DOCA. U každého porovnal výkon agentů ve dvou variantách: se skills a bez nich. Prompty se podle firmy pohybovaly od jednořádkové otázky po podrobná zadání s více požadavky. Hodnotilo se podle kontrolního seznamu požadovaných odpovědí. Ten pro každou úlohu obsahoval konkrétní sadu kritérií typu splněno, nebo nesplněno. Měřilo se tedy podle kritérií stanovených pro jednotlivé úlohy.
Výsledky testu
Agenti bez skills podle NVIDIE splnili jen 19 % hodnocených položek kontrolního seznamu u reálných úloh s DOCA. Agenti se skills podle firmy splnili 100 % napříč všemi 65 prompty. Obě hodnoty se vztahují k položkám kontrolního seznamu popsaného výše. Jde o výsledky testu, který provedl tým NVIDIE, a firma je uvádí jako měřítko rozdílu mezi oběma způsoby práce agentů.
Které chyby se opakovaly
NVIDIA uvádí také přehled chyb, které agenti bez skills podle ní dělali opakovaně. Nejčastější bylo nesprávné použití API a přepínačů, a to v 59 z 65 promptů. V 46 promptech agent neověřil hardwarové schopnosti, ve 39 špatně směroval nástroje, ve 34 vynechal smoke testy a ve 30 hádal verze. Čísla se vztahují k 65 testovaným promptům. Firma tyto případy označuje za konzistentní selhání.
Příklad: GPUNetIO
NVIDIA popisuje několik konkrétních situací. První vychází z dotazu vývojáře, který chce změřit latenci RDMA WRITE work requestu odeslaného z CUDA kernelu na GPU, nikoli z vlákna na hostitelském CPU. Chce se podle toho rozhodnout, zda aplikaci zaváže rozhraní GPUNetIO Verbs. Agent se skills podle NVIDIE před psaním kódu ověřuje, co zařízení skutečně podporuje. Kontroluje PCIe topologii mezi GPU a síťovou kartou a potvrzuje podporu GPUNetIO dříve, než se k ní zaváže. Navíc uvádí alternativní API a to, kdy se který přístup hodí.
Příklad: chyba při linkování
Další ukázka se týká chyby linkování v DOCA Flow s hlášením „undefined reference to doca_flow_init“. Příklad ukazuje postup při ladění této chyby. Podle popisu NVIDIE se krok kompilace podaří, ale linkování selže. Agent se skills podle firmy pozná, že jde o selhání při linkování, a pomocí nástroje pkg-config vyhledá správné linkerové přepínače pro doca-flow. Skill pro DOCA Flow přitom podle NVIDIE obsahuje správné názvy modulů pkg-config.
Příklad: firmware BlueField-3
Třetí ukázka se týká změny parametrů firmwaru na živém BlueField-3. Vývojář v ní uvádí, že načetl skill DOCA a dalším krokem je zápis parametru na úrovni firmwaru třídy mlxconfig. Agent se skills podle NVIDIE použil celou disciplínu potřebnou pro změny firmwaru a splnil všechny požadavky. Patřila k nim předběžná inventura, předpoklad out-of-band přístupu jako podmínky, výslovné servisní okno a plán návratu zpět. Agent také upozornil, že zápisy třídy mlxconfig se projeví až po cold power cycle, nikoli po warm rebootu. Agent bez skills podle NVIDIE nesplnil žádný z těchto požadavků.
Když uspějí oba agenti
NVIDIA zmiňuje i případ, kdy rozdíl nespočíval v úspěchu a neúspěchu. Dva agenti dostali stejný úkol: sestavit program, který pomocí DOCA odešle skutečný RDMA provoz na BlueField-3. Uspěli oba. Agent se skills ale podle firmy napsal o 73 % méně ručního kódu, tedy 189 řádků místo 695. Použil také zhruba o polovinu méně hardwarových příkazů, přesně o 46 %, tedy 20 místo 37. Rozdíl se podle popisu týká množství ručního kódu a počtu hardwarových příkazů, úkol zvládli oba agenti.
Kde sadu najít
Skills jsou k dispozici v repozitáři NVIDIA/skills na GitHubu. NVIDIA pro začátek odkazuje na obecné skills, které označuje za rychlý vstup, a na skills pro konkrétní knihovny: DOCA Flow, GPUNetIO a RDMA. Repozitář tak obsahuje obecné i knihovní skills. Seznam podle firmy pokračuje dalšími položkami.
Jak číst uvedená čísla
Údaje o 19 % a 100 % pocházejí z testu, který provedl tým NVIDIE na 65 promptech. Ukázky s GPUNetIO, linkováním, firmwarem BlueField-3 a RDMA programem rovněž vycházejí z popisu NVIDIE. Proto je v textu u nich uvedeno, že jde o tvrzení firmy.
Zdroje
- Build Applications on NVIDIA BlueField Faster with NVIDIA DOCA Agent Skills | NVIDIA Technical Blog — NVIDIA Developer Blog
Článek vznikl s pomocí AI; podklady a odkazy jsou uvedeny výše.