Optimalizace promptů: jak zkrátit tokeny a zlepšit výsledky

Konkrétní techniky prompt optimization — strukturované prompty, few-shot pruning, prompt compression. S příklady před/po a měřitelným dopadem na cenu i kvalitu.

Dobrý prompt je krátký, jasný a deterministický. Špatný prompt je dlouhý, vágní a drahý. Tady je 6 technik, jak prompty zkrátit o 30–60 % a často při tom zlepšit i kvalitu.

1. Instrukce dopředu, kontext potom

Modely platí pozornost hlavně začátku a konci promptu. Umísti hlavní instrukci na začátek, pak data, pak shrnutí úkolu. Lepší follow rate, méně retry, nižší cost.

2. Few-shot pruning

Začni s 5 příklady, postupně ubírej a měř kvalitu. Často zjistíš, že 2 příklady stačí. Ušetříš tisíce tokenů per request.

Před: 5 příkladů × 200 tokenů = 1000 tokenů

Po: 2 příklady × 200 tokenů = 400 tokenů → −60 % input

3. Strukturovaný JSON output

Místo "vysvětli a vrať odpověď" požaduj striktní schema. Použij response_format: json_schema. Méně output tokenů, parsovatelný výsledek, deterministický behavior.

4. Zkratky a symboly

Modely rozumí "Q:" a "A:", "USR:" a "AST:", "→" místo "results in". V system promptu nebo few-shot příkladech to ušetří desítky tokenů.

5. Prompt compression nástroje

Knihovny jako LLMLingua umí promptu zredukovat na 30–50 % původní délky s minimální ztrátou kvality. Pro velké RAG kontexty nezbytné.

6. Eliminuj "buďte zdvořilí, prosím"

"You are a helpful assistant. Please carefully consider..." — tohle nic nezlepší a stojí to tokeny. Buď přímý: "Classify the text as one of: A, B, C. Output only the letter."

Měřitelnost: nehádej, testuj

Každou změnu promptu prožeň testovacím setem (50–200 příkladů) a porovnej:

Accuracy — drží kvalita?
Avg tokens in/out — kolik jsi reálně ušetřil?
Cost per request — výsledek obou výše

Bez měření je prompt engineering jen pověra. Skutečné náklady na model napříč experimenty sleduj v Tokenech nebo si je předem spočítej v kalkulačce.

Reálný příklad

Klasifikace 50k support ticketů měsíčně:

Před optimalizací: GPT-4o, 1200 in / 150 out, $0.18/request → $9 000/měs
Po: GPT-4o mini + strukturovaný JSON + 2 few-shot, 400 in / 5 out → $0.062/měs… per 1000 ticketů = $3.1/měs

2900× levnější. Žádná magie — jen menší model + kratší prompt + striktní output.

Související: 10 způsobů, jak ušetřit na AI · Token window strategie