Craig McLuckie a Joe Beda, kteří stáli u vzniku Kubernetes, zakládají společnost Stacklok. Sázejí na to, že agenty určené pro programování půjde spravovat podobně jako kontejnerové aplikace, tedy v cloudu.
Tento nový model správy se snaží aplikovat osvědčené principy cloud-native infrastruktury na oblast generativní inteligence. Zakladatelé Stacklok tak sází na to, že přechodem od lokálního spuštění na plochách k centralizovanému cloudovému řízení lze efektivněji ovládat procesy, které AI agenti při psaní kódu vykonávají. Cílem je vytvořit prostředí, které by umožnilo škálovat a spravovat programovací agenty s podobnou stabilitou jako moderní mikroslužby. V praxi to znamená, že procesy psaní kódu nebudou závislé na výkonu konkrétního notebooku vývojáře, ale budou spravovány v centralizovaném prostředí. Takovéto cloud-native řízení umožňuje implementovat pokročilé mechanismy pro sledování stavu a orchestraci, které jsou u tradičních mikroslužeb standardem, čímž se eliminuje riziko ztráty dat při pádu lokální instance nebo při anomáliích v rámci jednorázových relací.
Problémy desktopových řešení
Podle Joea Bedy jsou dnešní nástroje v této oblasti zaměřené hlavně na provoz na desktopu. I když nabízejí určitou rozšiřitelnost, jejich architektura zůstává postavená na jednom procesu nebo na skupině těsně provázaných procesů. Smyčka, lokální spouštění i stav relace tak často běží v rámci téhož procesu.
Craig McLuckie v souvislosti s tímto přístupem vysvětluje, že koncept cloud-native znamená přesun těžiště hodnoty z desktopu do cloudu. Z pohledu podnikových organizací je problematické, že kód a kontext často vznikají v lokálních prostředích, kde je uloženo duševní vlastnictví firem. Podle Bedy je následně mnohem obtížnější tyto prvky efektivně spravovat a integrovat do širšího řídicího systému, pokud zůstávají izolované na jednotlivých pracovních stanicích. Když kód a kontext zůstávají na lokálních stanicích, vzniká bezpečnostní a administrativní riziko, protože duševní vlastnictví firmy (IP) je rozprostřeno napříč různými zařízeními bez jednotného dozoru. Přesun do cloudu umožňuje firmám aplikovat jednotné bezpečnostní politiky a řízení přístupu k citlivým datům, což je v prostředí rozfragmentovaných desktopových aplikací prakticky nereálnovatelné.
Open source projekt Mecatl
Stacklok představil svůj hlavní produkt Mecatl. Jde o „cloud-native testovací prostředí (testovací prostředí (harness))“, tedy řídicí rámec agenta navržený pro cloud, který vznikl v červnu jako open source projekt na GitHubu. Beda uvádí myšlenku přehodnotit testovací prostředí (harness) od základů tak, aby skutečně běžel v cloudu.
Klíčovým rysem architektury Mecatlu je oddělení smyčky agenta od ostatních komponent. Smyčka zůstává nezávislá na klientovi, poskytovateli modelu, úložišti stavu i prostředí, ve kterém probíhá spouštění. Od ní se oddělují citlivé operace, například volání nástrojů a bash, a také správa relací a paměti. Díky tomu už tyto údaje nemusí být uložené jen v souborech JSONL na disku, ale lze je přenést do spravovatelných systémů.
Správa přístupu a AI Gateway
Společnost Stacklok nabízí k dispozici AI Gateway, což je brána pro velké jazykové modely zaměřená na administrativní a provozní aspekty správy. Tento nástroj se specializuje především na řízení přístupu, správu rozpočtů, reporting a směrování požadavků mezi různými poskytovateli. Na rozdíl od některých konkurenčních řešení, například od společnosti Glean, tato brána v současné době nevybírá konkrétní model na základě typu vykonávané úlohy. AI Gateway představuje v současnosti jediný hlavní produkt firmy, který nebyl zveřejněn jako open source, ačkoliv podle Bedy je takové otevření plánováno v budoucnu. AI Gateway tak funguje jako administrativní vrstva, která zajišťuje, že přístup k drahým LLM modelům je kontrolován a monitorován. Správa rozpočtů v této vrstvě umožňuje firmám přesně sledovat náklady na tokeny v reálném čase a zabránit nekontrolovanému nárůstu výdajů, což je kritické při nasazení agentů v celopodnikovém měřítku. Směrování požadavků pak umožňuje snadno přepínat mezi různými poskytovateli modelů bez nutnosti měnit kód samotných agentů.
Absence automatického výběru modelu v bráně je vědomým rozhodnutím. Podle McLuckieho by sémantický výběr modelu měl probíhat přímo v testovacím prostředí (testovací prostředí (testovací prostředí (testovací prostředí (harness)))), protože v této vrstvě je k dispozici mnohem více kontextu pro správné rozhodnutí. Brána tedy slouží primárně jako kontrolní vrstva pro správu provozu a přístupů, zatímco inteligentní rozhodování o tom, který model je pro daný úkol nejvhodnější, je delegováno do systému, který je v rámci testovacího prostředí lépe optimalizován.
Komerční rozšíření pro firmy
Komerční rozšíření pro firmy představuje podle McLuckieho tzv. enterprise spine. Jedná se o řídicí rovinu, která sjednocuje identitu, autorizaci, politiky a audit nad jednotlivými open source částmi systému. Zatímco nástroje ToolHive a Mecatl jsou navrženy tak, aby byly užitečné i samostatně, tento komerční produkt slouží jako spojovací prvek, který tyto komponenty integruje do jednoho celku pro potřeby podnikových zákazníků. Tato řídicí rovina (control plane) řeší komplexní potřeby velkých organizací, kde nestačí pouze funkční nástroj, ale je nutná přísná kontrola nad tím, kdo, kdy a jakým způsobem systém využívá. Sjednocení identity a autorizace znamená, že přístup k open source komponentám, jako jsou Mecatl nebo ToolHive, je řízen jednotným systémem, což zjednodušuje onboarding nových zaměstnanců a správu oprávnění v rámci hierarchie firmy. Auditní mechanismy pak umožňují zpětné sledování všech změn v kódu provedených AI agenty, což je klíčové pro compliance a bezpečnost.
Podle Bedy je snadné open source projekty zprovoznit pro malý tým. Problémy podle něj nastávají ve chvíli, kdy se systémy začnou škálovat na více clusterů a více cloudů. Komerčním produktem Stacklok je podle McLuckieho „enterprise spine“, tedy control plane, který nad open source částmi sjednocuje identitu, autorizaci, politiky a audit.
Zdroje
Článek vznikl s pomocí AI; podklady a odkazy jsou uvedeny výše.