Nejdražší model nemusí být tím správným pro každou úlohu. Tuto myšlenku rozvádí průvodce, v němž OpenAI vysvětluje, jak z rodiny GPT-6 vybrat model pro konkrétní práci. Nabízí tři varianty: Astru, Solu a Lunu. Podle ceníku stojí Sol zlomek ceny Astry, a přesto má podle OpenAI nabízet inteligenci jí blízkou. Průvodce přitom neřeší jen výběr modelu. Radí také, jak nastavit úsilí při uvažování, jak využít cache a co před nasazením změřit. U delších úloh navíc zmiňuje nástroje pro průběžné řízení a delegování práce. Jde o doporučení samotného dodavatele, nikoli o nezávislé testy. Je proto rozumné číst je jako výchozí bod pro vlastní ověřování, nikoli jako hotový verdikt.
Tři modely pro tři druhy práce
OpenAI každému modelu přiřazuje jinou roli. GPT-6 Astra je určená pro nejnáročnější úvahy, tedy tam, kde je potřeba maximální inteligence. GPT-6.1 Sol má sloužit pro složité programování, výzkum a ovládání počítače. GPT-6 Luna míří na cílené úlohy ve velkém, tedy na každodenní opakovanou práci s jasným cílem. Průvodce jako příklady uvádí vytěžování polí z faktur, třídění požadavků nebo tvorbu strukturovaných shrnutí. Společným znakem těchto příkladů je, že zadání je přesně vymezené a stále se opakuje. Rozdělení tedy nevychází z toho, který model je „nejlepší“, ale z toho, jak náročná a jak častá je daná činnost. Otázka při výběru zní spíš „kolik inteligence tato práce skutečně vyžaduje?“ než „jaký model je k dispozici?“.
Co říká ceník
Rozdíly v ceně jsou výrazné. Astra stojí 10 USD za vstup a 50 USD za výstup. Sol vyjde na 2 USD a 10 USD, Luna na 0,10 USD a 0,50 USD. Sol je tedy přesně pětkrát levnější než Astra a Luna dvacetkrát levnější než Sol. Mezi Astrou a Lunou je rozdíl stonásobný, a to u vstupu i výstupu. Přesně to OpenAI naznačuje heslem o inteligenci blízké Astře za pětinu ceny. Zajímavé je také to, že u všech tří modelů vychází výstup pětkrát dráž než vstup. Úlohy, které generují dlouhé odpovědi, proto podle ceníku zatíží rozpočet výrazněji než úlohy, kde model dostane hodně textu a vrátí krátký výsledek. Ceník uvádí i cachovaný vstup: 1,00 USD u Astry, 0,10 USD u Solu a 0,01 USD u Luny. Použitou jednotku, například počet tokenů, však citovaná část průvodce neuvádí, takže jde o srovnání cen mezi modely, nikoli o hotový výpočet nákladů konkrétní aplikace.
Inteligence versus cena
Podle OpenAI je dobré volbu modelu i úrovně uvažování vnímat jako kompromis mezi inteligencí a cenou. Model tedy nevybíráte jednou provždy. Měnit lze i to, kolik úsilí mu v rámci jedné úlohy dovolíte věnovat. V API lze nastavit, kolik úsilí model úloze věnuje, a to na nízké, střední nebo vysoké úrovni. Nad nimi existuje ještě extra vysoká či maximální úroveň, ale ta je podle průvodce určená jen na vyzkoušení, a to tam, kde je podporovaná. Zkoušet ji má smysl, když nestačí vysoká úroveň. Ponechat ji ale doporučují jen v případě, že zlepšení ospravedlní delší čekání i vyšší náklady. Víc úsilí tedy automaticky neznamená lepší volbu. Každý krok nahoru se platí časem i penězi, a proto má být podložen měřitelným zlepšením výsledku. Logika je přitom podobná jako u výběru modelu: začít u skromnější varianty a posunout se výš, až když to data opravdu odůvodní.
Cache jako rychlá úspora
Další způsob, jak snížit účet, je využít cachovaný vstup. Podle OpenAI stojí cachované vstupní tokeny až o 95 % méně než necachované, přičemž přesná úspora závisí na modelu. Tokeny jsou drobné části textu, které model zpracovává. Cachovaný vstup si lze představit jako začátek zadání, který se od předchozího dotazu nezměnil, a proto je levnější. Ceník to potvrzuje: u každého ze tří modelů je cena cachovaného vstupu výrazně nižší než cena běžného vstupu. Aby cache fungovala, radí průvodce umisťovat stabilní instrukce a referenční materiál před proměnlivé podrobnosti konkrétní úlohy. Zároveň je vhodné udržovat konzistentní definice nástrojů. V praxi to znamená stavět dotazy tak, aby se jejich neměnná část opakovala stejně a proměnlivá část přicházela až po ní. Kdo naopak na začátek vkládá údaje, které se v každém volání liší, může si úsporu vzít z ruky sám.
Nejdřív změřit, pak nasadit
Před nasazením do produkce OpenAI doporučuje spustit reprezentativní úlohy a sledovat tři věci: úspěšnost splnění úlohy, latenci a cenu za úspěšně splněnou úlohu. Latence je doba, kterou uživatel čeká na odpověď. Poslední metrika je užitečná, protože levnější model může být po započtení neúspěšných pokusů dražší, než vypadá v ceníku. Samotná cena za vstup a výstup totiž nic neříká o tom, kolik dotazů se musí opakovat. Průvodce také připomíná, že je potřeba rozmyslet, jak se bude chování aplikace sledovat, a zkontrolovat nastavení datových kontrol. Monitoring je třeba plánovat předem, nikoli doplňovat až po prvních problémech. Konkrétní limity ani cílové hodnoty OpenAI v použitých pasážích neuvádí. Rozhodnutí, co je pro danou aplikaci dostatečná kvalita, tak zůstává na vývojářích.
Dlouhé úlohy a průběžné zásahy
U delších úloh nabízí API několik nástrojů pro řízení práce. Přes Responses WebSocket API lze modelu během běhu poslat korekci, takzvané průběžné řízení. Hodí se tehdy, když se během práce ukáže, že zadání je potřeba upřesnit, a není nutné čekat na konec. Aktualizace se řadí do fronty a podle OpenAI nezruší běžící nástroje ani nevrátí už dokončené akce. Opravit tedy lze další postup, nikoli odčinit to, co už proběhlo. Asynchronní volání nástrojů zase umožňuje modelu pracovat na nezávislých částech, zatímco aplikace zpracovává pomalejší úkol, třeba testy. Model tak nemusí nečinně čekat na výsledek jednoho kroku. Obojí je určeno pro situace, kdy by čekání na dokončení jednoho kroku zbytečně zdržovalo celý proces. Průvodce zmiňuje také delegování nezávislých podúkolů, o kterém je řeč níže.
Podagenti zatím v betě
Třetí možností je delegování. GPT-6.1 Sol podporuje multiagentní workflow v Responses API. Může zadat nezávislou práci podagentům, například prověření různých částí kódové základny, a jejich zjištění pak spojit do výsledné odpovědi. Hlavní model se tak chová spíš jako koordinátor, který rozdělí práci a výsledky sestaví. OpenAI výslovně uvádí, že tato funkce je zatím v betě. Týmy, které zvažují její použití, by to měly brát jako upozornění: chování i dostupnost se mohou měnit. Průvodce v použitých pasážích neuvádí, jak moc delegování urychlí práci ani kolik navíc stojí. Takové údaje si proto budou muset změřit sami uživatelé, ideálně stejnými metrikami jako u ostatních nastavení, tedy úspěšností, latencí a cenou za splněnou úlohu.
Co z průvodce nevyplývá
Je třeba zdůraznit, že jde o text dodavatele, který popisuje vlastní produkty. V použitých pasážích průvodce není tvrzení o inteligenci Solu blízké Astře podloženo žádnými srovnávacími čísly. Ta by ukázala, jak velký je rozdíl v kvalitě na konkrétních typech úloh. V použitých pasážích také chybí doklad o tom, kolik se v reálných nasazeních skutečně ušetří cachováním, i údaj o tom, jak se mění latence mezi úrovněmi uvažování. Praktický závěr je proto spíš metodický než číselný: začít levnějším modelem, vyzkoušet vlastní reprezentativní úlohy a dražší variantu nebo vyšší úsilí zapnout, až když výsledky měřitelně nestačí. Ceník dává jasný rámec, v němž se rozdíly v ceně pohybují od pětinásobku po stonásobek. Zda se vyšší cena vyplatí, ale ukáže teprve měření na vlastních datech.
Zdroje
- A model guide for the GPT-6 family | OpenAI — OpenAI News
Článek vznikl s pomocí AI; podklady a odkazy jsou uvedeny výše.