Proč nestačí žebříček
Nejlepší model na žebříčku nemusí být tím správným pro váš provoz. OpenRouter ve svém návodu doporučuje položit jinou otázku: ne který model dosahuje nejvyššího skóre, ale který je nejlevnější a pro daný úkol ještě dost dobrý. Postup má tři kroky. Nejdřív stanovíte laťku kvality, kterou úloha potřebuje. Potom na vlastních příkladech změříte cenu za bod kvality. Nakonec vyberete nejlevnější model, který laťku překoná s rezervou.
Důvod, proč žebříček nestačí, vysvětlují autoři takto: průměruje výsledky přes úlohy, které s tou vaší nemusejí souviset. Model, který vede v programování, nemusí být první v extrakci strukturovaných dat. A průměrný model, který na testu uvažování nijak nezaujme, může odpovídat na dotazy do FAQ dostatečně přesně. U agentů se navíc rozdíly v ceně násobí. Platí se každé volání nástroje, každý mezikrok i každé opakování, takže tříkrokový cyklus zaplatí cenu za tokeny nejméně třikrát, než vrátí odpověď.
Laťka kvality a další omezení
Laťka není univerzální číslo, liší se podle úlohy. Pokud je špatná odpověď riziko, například v compliance, zdravotnictví nebo při právní kontrole, doporučuje návod nastavit ji vysoko a smířit se s vyšší cenou za požadavek. U objemné podpory zákazníků může naopak stačit levnější model, který správně vyřídí 90 % běžných požadavků a zbylých 10 % čistě předá dál. Schéma ze zdroje ukazuje cenu a kvalitu v bodovém grafu a vybraný model leží těsně nad laťkou.
U práce citlivé na zpoždění, třeba při kontrole podvodů nebo v živém chatu, přibývá třetí omezení. Model, který je levný a přesný, ale pro daný úkol příliš pomalý, vypadává ze hry dřív, než se vůbec řeší cena nebo přesnost. Zdroj tedy nevnímá výběr jako souboj dvou veličin. Rychlost, cena a přesnost se nedají maximalizovat zároveň a každá úloha si musí určit, která omezení opravdu má.
Jak se měří cena za bod kvality
Samotné měření je záměrně jednoduché. Autoři radí spustit levný, středně pokročilý a špičkový model na 20 až 50 vlastních příkladech a všechny ohodnotit jednotným schématem. Cenu za 1 000 požadavků pak vydělíte skóre kvality. Výsledkem je cena za bod kvality, kterou lze přímo porovnat mezi kandidáty i mezi testovacími sadami různé velikosti. Způsob hodnocení se liší podle úlohy: u deterministických, třeba klasifikace, stačí přesná shoda s předlohou, u otevřených úloh se doporučuje hodnoticí model.
Důležitá je i otázka, odkud brát náklady. OpenRouter uvádí, že objekt usage vrací v každé nestreamované odpovědi i v poslední zprávě streamu, a to bez dalšího parametru. Pole usage.cost obsahuje částku v dolarech, kterou za daný požadavek účtoval. Návod proto radí číst cenu přímo z odpovědi a nenásobit ceníkové sazby odhadem počtu tokenů.
Ilustrativní příklad se třemi modely
Autoři ukazují postup na směrování tiketů s laťkou 85 %. Model GPT-5.6 Luna dosáhl skóre 82 při ceně 0,32 USD za 1 000 požadavků, takže laťku nesplnil. Gemini 3.7 Flash měl skóre 89 a cenu 1,09 USD, Claude Opus 5 skóre 97 a cenu 7,25 USD. Luna má sice nejnižší cenu za bod kvality, jenže podle návodu na ní nezáleží, když model pod laťkou propadne. Tabulka se proto čte v pořadí, v jakém postup běží: nejdřív laťka, až potom cena.
Vítězem je tu Gemini 3.7 Flash, který laťku překonává o 4 body. Výsledek se ale změní, když se změní požadavky. Pokud by špatné směrování znamenalo zmeškané SLA a laťka stála na 95 %, uspěl by jen Claude Opus 5 a platilo by se 7,25 USD. Čísla jsou podle autorů ilustrativní, takže slouží jako vzor postupu, ne jako měření. Ceny jsou navíc katalogové, na úrovni modelu. Jednotlivé endpointy poskytovatelů a úrovně flex a priority se účtují vlastními sazbami. GPT-5.6 Luna navíc účtuje vyšší sazbu u požadavků s 272 000 a více tokeny promptu.
Rezerva a opakování srovnání
Překonat laťku těsně nestačí. Skóre kolísá, protože poskytovatelé aktualizují modely, provoz se mění a přicházejí nové verze. Návod proto radí spustit kandidáty opakovaně nebo na nové části provozu, zaznamenat, o kolik se skóre mezi běhy mění, a požadovat, aby vítěz laťku překonal o víc než toto kolísání. Srovnání je také nutné opakovat, když se změní model nebo jeho cena. Mezi květnem a zářím 2026 přibyly do katalogu OpenRouter čtyři verze Gemini Flash, takže i pár měsíců staré srovnání může být zastaralé.
Přepínání mezi kandidáty má být podle OpenRouter nenáročné. Služba nabízí jedno API kompatibilní s OpenAI, takže výměna modelu je změna konfigurace. Základní URL, klíč i SDK zůstávají stejné a stačí přepsat řetězec s názvem modelu, například z openai/gpt-5.6-luna na anthropic/claude-opus-5. Jde o tvrzení poskytovatele a návod, který tento poskytovatel sám vydal. Nic v podkladech nedokládá, že stejný postup vyjde nejlépe i na jiných platformách. Opakovat měření je ovšem snadné: stačí uchovat skript a sadu příkladů.
Grafy a schéma pocházejí z původního článku uvedeného ve zdrojích.
Zdroje
- Cost vs. Quality Tradeoff Framework for Agent Models — OpenRouter Blog
Článek vznikl s pomocí AI; podklady a odkazy jsou uvedeny výše.