Token window: jak pracovat s dlouhým kontextem chytře

Sliding window, RAG, summary chains a context pruning. Kdy se vyplatí 1M token context window a kdy je to drahý overkill.

Moderní modely nabízejí 200k (Claude), 400k (GPT-5) i 1M (Gemini) token context. Lákavé hodit do promptu celý codebase a "ať si poradí". Pak přijde faktura.

Velký context window má dvě skryté daně: cost (input tokeny se sčítají rychle) a kvalita (modely zapomínají, co je uprostřed — "lost in the middle" efekt).

Kdy 1M context dává smysl

Jednorázová analýza dokumentu/repa (research, audit)
Komplexní reasoning, kde potřebuješ vidět všechny souvislosti najednou
Multimodal úlohy (video + text)

Kdy je 1M context drahý overkill

Chatbot s history starou týden — kdo si po týdnu pamatuje, co se řešilo?
RAG nad dokumentací — 5 relevantních chunků překoná full dump v přesnosti i ceně
Agentní workflow — každý krok znovu odešle 50k tokenů kontextu, který už nepotřebuje

4 strategie pro chytré context management

1. Sliding window

Drž posledních N zpráv (typicky 10–20). Starší zahoď nebo summarizuj. Vhodné pro chat.

2. Summary chain

Každých M zpráv nech model udělat krátké shrnutí předchozího kontextu. Místo 50k history pošleš 500 token summary + posledních 5 zpráv. Drží 80 %+ kontextu za zlomek ceny.

3. RAG (Retrieval-Augmented Generation)

Embedduj dokumenty, retrievuj jen relevantní chunky. Pro většinu Q&A use casů poráží long-context v poměru cena/kvalita o řád.

4. Context pruning

Před každým requestem prober kontext: drop tool výstupy starší 3 krokůý, smaž duplicitní info, zkomprimuj failed attempty. Pro AI agenty kritické — bez pruningu utratíš $50/hod na jedno spuštění.

Konkrétní čísla

Agent řešící bug, 30 kroků, každý krok přidá tool output (~2k tokenů):

Naivně: krok 30 platí 60k input tokenů. Cumulative input: ~900k tokenů.
S pruningem (jen posledních 5 toolů + summary): ~10k tokenů/krok, cumulative ~300k.

3× levnější, a navíc model líp drží pozornost na aktuální problém.

Long context není zdarma, ani když "jde"

Gemini 2.5 Pro je za $1.25/1M input. 500k token request = $0.625 jen na input. 1000 takových requestů denně = $625/den, $19k/měs. Většina týmů by stejný výsledek dostala za 10× míň přes RAG.

Praxe: měř input tokeny per request

V Tokenech sleduj avg input tokens per request v čase. Pokud roste, máš v kontextu balast. Spočítej si dopad cenovky v LLM cost calculator.

Související: 10 způsobů, jak ušetřit na AI · Optimalizace promptů