Společnost Asana podle příspěvku OpenAI optimalizovala pracovní postup svého prohlížečového agenta na modelu GPT-6.1 Sol. V testech byl optimalizovaný postup přibližně 76krát levnější a 5krát rychlejší než původní produkční nastavení.
Průlom v efektivitě se projevuje konkrétními čísly, kdy optimalizovaný postup na modelu GPT-6.1 Sol stál v průměrném odhadu 0,47 USD za jeden běh. Celková doba trvání jednoho procesu se v tomto novém režimu pohybuje kolem čtyř minut. Pro srovnání je třeba uvést, že původní produkční konfigurace, která sloužila jako základ pro měření těchto vylepšení, běžela na modelu B. Výsledné srovnání tak potvrzuje výrazné snížení provozních nákladů i zkrácení doby vykonání úkolů. Tento dramatický rozdíl v nákladech a časech potvrzuje, že přechod z původního modelu B na novější architekturu GPT-6.1 Sol v kombinaci s vylepšeným procesem přinesl synergický efekt.
Identifikace problému s cache
Identifikace problému s cache začala analýzou, kterou provedl model GPT-6 Astra v prostředí Codexu. Zjistil, že agent sice správně ukládal do mezipaměti fixní instrukce a definice dostupných nástrojů, ale neukládal postupně rostoucí historii. Ta obsahovala texty ze stránek i snímky obrazovky, které agent v průběhu práce shromažďoval. Analýza odhalila, že zatímco statická data byla efektivně zpracována, dynamicky se rozšiřující kontext byl systémem ignorován z hlediska optimalizace úložiště.
Kvůli tomuto nedostatku musel agent při každém novém požadavku znovu posílat celou nahromaděnou historii textů a snímků obrazovky. Protože tato historie nebyla v mezipaměti, bylo každé opakované odeslání účtováno za plnou cenu. Tento stav zjistil model GPT-6 Astra při analýze původního nastavení agenta.
Metodika optimalizace historie
Studii v plném rozsahu provedl model Astra. Testoval dvě velikosti rozpočtu pro historii, a to 120 000 a 480 000 znaků. V rámci těchto limitů prověřil šest politik cachování a mazání snímků obrazovky. Každá z politik byla testována třikrát na každém ze čtyř zapojených modelů. Celý proces testování byl navržen tak, aby pokryl široké spektrum scénářů a umožnil přesné srovnání různých přístupů k řízení paměti u několika modelů současně.
Nejlepších výkonů dosáhla specifická politika správy vizuálních dat, která umožňovala snímkům obrazovky postupně přerůst až do počtu 20 kusů. Jakmile byl tento limit naplněn, systém provedl úpravu a ponechal pouze ten nejnovější snímek. Tento přístup k mazání dat přinesl konkrétní výhodu v tom, že starší části historie zůstávaly po delší dobu beze změn mezi jednotlivými procesy odstraňování. Tímto způsobem se podařilo optimalizovat stabilitu kontextu, aniž by došlo k neustálému a zbytečnému přepisování dat v mezipaměti. Tato metoda, kdy systém ponechává pouze nejnovější snímek po dosažení limitu 20 kusů, funguje jako mechanismus pro udržení aktuálnosti vizuálního kontextu při současném omezení redundantních dat. Díky tomu, že starší textová historie zůstávala beze změn, mohl model efektivně využívat cachované vrstvy dat, což minimalizovalo potřebu znovu přepočítávat stejné sekvence vstupů při každém novém kroku.
Srovnání nákladů u různých modelů
Srovnání nákladů u různých modelů ukazuje, že optimalizace procesů může vést k výraznému snížení finanční zátěže. U modelu B například povedla implementace úprav k tomu, že odhadované náklady klesly z minimálně 36,21 USD na 1,24 USD za jeden běh, což představuje 29násobný pokles. Je však důležitéuvedést, že původní průměrná cena je pouze dolním odhadem, jelikož některé z původních běhů byly přerušeny dosažením limitu kroků dříve, než stihly plně skončit. Tato analýza naznačuje, že i u starších modelů, jako byl model B, může správná správa kontextu a cache dramaticky změnit ekonomickou udržitelnost AI operací.
Výrazné úspory byly zaznamenány i u modelu GPT-6.1 Sol, kde nová politika cachování a mazání snímků při větším rozpočtu historie snížila náklady čtyřnásobně, konkrétně z 1,97 USD na 0,47 USD za běh. Každé jednotlivé volání bylo zhruba třikrát levnější, protože 89 % vstupních dat pocházelo z mezipaměti. Cena tohoto cachovaného vstupu činila pouze 5 % ceny necachovaného vstupu. Tato vysoká míra využití mezipaměti byla klíčovým faktorem, který umožnil tak výrazné snížení ceny za jednotlivé volání modelu.
Výsledné zrychlení procesů
Výsledné zrychlení procesů v rámci testování prohlížečového agenta přineslo výrazné časové úspory. Podle údajů společnosti OpenAI došlo k výraznému zkrácení doby běhu, která klesla z původního nastavení na modelu B, kde trvala minimálně 22,5 minuty, na přibližně čtyři minuty při využití optimalizovaného pracovního postupu na modelu GPT-6.1 Sol. Tento pokles v čase ukazuje, jak zásadní vliv mají úpravy v konfiguraci a volba konkrétního modelu na celkovou efektivitu prováděných operací. Takové zrychlení není pouze technickým vylepšením, ale zásadním krokem k tomu, aby se prohlížečoví agenti stali prakticky použitelnými pro komplexní úkoly v reálném čase.
Je však nutné vzít v úvahu, že hodnota 22,5 minuty u původního modelu B představuje pouze dolní odhad. Tento průměr z tří běhů zahrnuje totiž i případy, kdy byly některé procesy omezeny nebo nedokončeny, což znamená, že skutečná doba běhu v plném rozsahu byla pravděpodobně ještě vyšší. Optimalizovaný postup na GPT-6.1 Sol tak nejen zrychlil celkový průběh úloh, ale zároveň umožnil stabilnější dokončení procesů v mnohem kratším časovém rámci. Tento rozdíl v časech běhu – z více než 22,5 minuty na pouhé čtyři minuty – není pouze otázkou rychlosti samotného modelu, ale především výsledkem odstranění redundancí v přenosu dat. Skutečnost, že původní měření zahrnovalo i nedokončené běhy, které narazily na limit kroků, naznačuje, že v reálném provozu by byl časový rozdíl mezi starým a novým nastavením pravděpodobně ještě výraznější, což potvrzuje zásadní přínos optimalizace správy historie.
Zdroje
Článek vznikl s pomocí AI; podklady a odkazy jsou uvedeny výše.