Zpět na blog
Monitoring & FinOps Martin Pohl

Monitoring AI nákladů: co měřit, jaké alerty nastavit a proč

Praktický návod, jaké KPI sledovat u LLM API — od daily spend přes anomálie po runaway agenty. S příklady alertů, dashboardů a typických red flagů.

Sdílet:

AI náklady umí přes noc utrojit. Bug v agentovi, infinite loop, nový endpoint v produkci, marketing kampaň — a najednou faktura $5 000 místo $500. Bez monitoringu to zjistíš až z karty.

5 KPI, které musíš sledovat

1. Daily spend (USD)

Základ. Sleduj denní útratu napříč providery. Alert pokud denní spend překročí 1.5× 7-day rolling average — to zachytí runaway loopy během hodin, ne dní.

2. Cost per request (avg)

Roste? Pravděpodobně se ti rozrostl prompt nebo kontext. Klesá? Dobrá zpráva, nebo někdo přepnul na levnější model — ověř kvalitu.

3. Input vs output token ratio

Output tokeny jsou typicky 4–5× dražší než input. Vysoký output podíl signalizuje nezalimitované max_tokens nebo zbytečné "vysvětli proč" v promptech. Viz prompt optimization.

4. Model mix

Kolik % requestů jede přes flagship vs mini? Pokud flagship dělá >30 % a nejde o reasoning-heavy workload, máš prostor pro routing. Detail v srovnání modelů.

5. Latence per model

Nejen UX metrika — pomalé responses znamenají taky drahé streamy a často indikují problém u providera (před fakturací). Sleduj p50 a p95.

Alerty, které dávají smysl

  • Budget threshold — 50 %, 80 %, 100 % měsíčního budgetu
  • Spike detection — hourly spend > 3× medián posledních 24h
  • New model usage — někdo nasadil nový model, který v rozpočtu nebyl
  • Failed requests > 5 % — platíš za chyby (často ano u rate limitů)
  • Single request > $X — typicky runaway agent nebo špatný RAG

Red flags v dashboardu

  • Plochá křivka, pak skok — nasazení / bug
  • Postupný drift nahoru — prompty rostou, kontext narůstá
  • Sinusoida přes noc — cron job nebo batch processing běží 24/7
  • Náhle nulová útrata — API key revoked nebo provider outage

Setup za 10 minut

Postup, který funguje pro malý/střední tým:

  1. Connect OpenAI/Anthropic/OpenRouter do Tokenech
  2. Nastav měsíční budget alert (email na 80 %)
  3. Týdně 5 minut review: cost per request, model mix, top 5 nejdražších requestů
  4. Spočítej si očekávané náklady na nové featury v kalkulačce před nasazením

Pokročilé: per-feature attribution

U větších produktů přidej do každého requestu metadata (user_id, feature,endpoint). Pak víš, že 60 % nákladů jde na 5 % uživatelů, nebo že "experimentální" endpoint žere víc než hlavní produkt. Bez per-feature tagů je optimalizace hádání.

Co měřit nemá smysl

  • Token count bez kontextu ceny — různé modely, různé ceny. Sleduj USD.
  • Total requests — bez cost / latence ti to neřekne nic
  • Daily spend bez 7-day average — víkendové výkyvy = false alerty

Související: 10 způsobů, jak ušetřit na AI · Srovnání modelů 2026 · Token window strategie

Související návody a ceníky

LLM Cost Calculator

Odhad nákladů na 11 modelů

GPT API cost

Per-token ceník OpenAI modelů

Claude API cost

Haiku, Sonnet, Opus pricing

Jak spočítat LLM cost

Krok za krokem — vzorec a tipy

10 způsobů úspor

Caching, routing, batch API

Optimalizace promptů

Zkrátit tokeny o 30–60 %

Token window strategie

RAG, sliding window, pruning

Sleduj reálné AI náklady, ne jen odhady

Tokeny ti ukáže denní spend napříč GPT, Claude a Gemini — v USD i CZK.

Sdílet:

Psal jsem to po večerech. Pokud ti článek pomohl, podpoř mě kafem ☕