API Migration-Tests für LLM-Apps: Ein praktischer Plan
API-Migrationstests für eine LLM-App unterscheiden sich vom Testen einer normalen REST-API, da derselbe Prompt nie zweimal denselben Text zurückgibt. Du testest Eigenschaften der Antwort, nicht exakte Strings.
Zuletzt aktualisiert

Zusammenfassung
- Erstelle eine goldene Testmenge aus 50 bis 200 echten Prompts mit regelbasierten Checks, nicht mit exakten Erwartungswerten.
- Fixiere Temperatur und Seed, um Rauschen zu reduzieren, erwarte aber niemals identischen Text.
- Erfasse Latenz-Perzentile und Kosten pro Anfrage für die alte und neue Route.
- Schreibe Rollback-Auslöser auf, bevor die Einführung beginnt.
Was du tatsächlich testest
Bei einer klassischen API vergleichst du Antworten Byte für Byte. Bei einem Language Model bricht das sofort zusammen. Entscheide stattdessen, welche Eigenschaften einer Antwort dein Produkt benötigt, und teste diese.
- Form. Gültiges JSON, erforderliche Schlüssel, ein Tool-Aufruf mit den richtigen Argumenten.
- Inhalt. Erwähnt die erforderlichen Fakten, folgt dem Format und bleibt in der Persona.
- Sicherheit des Produkts. Keine Ablehnung, wo eine Antwort erwartet wird, kein durchgesickelter System-Prompt.
- Betrieb. Latenz, Fehlerrate, Ratenlimit-Verhalten, Kosten.
Falls du die eigentlichen Wechsel-Schritte benötigst, findest du den Plan in der Migrationsanleitung auf dieser Website, und die Fehler, die dir dabei begegnen, werden in häufigen LLM-Integrationsfehlern behandelt. Dieser Artikel behandelt die Überprüfung.
Erstelle die goldenen Prompt-Sets
Ziehe 50 bis 200 echte Prompts aus deinen Logs (entferne zuerst persönliche Daten). Decke den normalen Pfad, die schwierigen Fälle und die Fälle ab, die zuvor kaputt waren. Speichere jeden als Datensatz mit seinen Nachrichten, Parametern und den Checks, die er bestehen muss.
{
"id": "invoice-json-03",
"messages": [
{"role": "system", "content": "Extract fields. Reply with JSON only."},
{"role": "user", "content": "Invoice 4471 from Acme, total 1,250 EUR, due 2025-03-01"}
],
"json": true,
"required_keys": ["number", "vendor", "total"],
"must_contain": ["4471"]
}
Markiere Fälle nach Risiko: Tool-Aufrufe, langer Kontext, Streaming, Nicht-Englisch, sehr kurze und sehr lange Antworten. Wenn später ein Bug in der Produktion auftritt, füge ihn der Menge hinzu. Die Menge wächst zu deiner Regressionssammlung.
Schreibe eine Testumgebung, die alles aufzeichnet
Ein Skript sollte die gesamte Menge gegen eine Route ausführen, die Checks anwenden und die Zahlen speichern. Verwende temperature=0 und einen festen seed, um Variationen zu schneiden. Beide werden von dieser API durchgereicht, aber betrachte sie als Rauschunterdrückung, nicht als Garantie.
import json, time
from openai import OpenAI
client = OpenAI(base_url="https://api.apimigration.com/v1", api_key="YOUR_KEY")
PRICE_IN, PRICE_OUT = 0.15, 0.50 # USD per 1M tokens
def run(case):
t0 = time.perf_counter()
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=case["messages"],
temperature=0,
seed=42,
)
elapsed = time.perf_counter() - t0
resp = raw.parse()
text = resp.choices[0].message.content or ""
u = resp.usage
return {
"id": case["id"],
"text": text,
"seconds": elapsed,
"cost": (u.prompt_tokens * PRICE_IN + u.completion_tokens * PRICE_OUT) / 1e6,
"balance": raw.headers.get("X-Balance-USD"),
"request_id": raw.headers.get("X-Request-Id"),
}
Behalte den X-Request-Id für jeden fehlgeschlagenen Fall. Das ist die Referenz, die du nennst, wenn du Support wegen einer bestimmten Anfrage fragst.
Diff regelbasiert, nicht zeichenbasiert
Wende die Checks aus jedem Datensatz an. Alles, was fehlschlägt, landet in einer kurzen Liste zur manuellen Durchsicht.
def check(case, text):
problems = []
if case.get("json"):
try:
obj = json.loads(text)
except ValueError:
return ["invalid json"]
for key in case.get("required_keys", []):
if key not in obj:
problems.append("missing key " + key)
for needle in case.get("must_contain", []):
if needle.lower() not in text.lower():
problems.append("missing text " + needle)
if len(text.strip()) < case.get("min_chars", 1):
problems.append("answer too short")
return problems
Für Freitext-Antworten füge eine kostengünstige Längenspanne (z. B. innerhalb der Hälfte bis zum Doppelten der alten Antwort) und eine kurze Liste von Ablehnungsphrasen hinzu, um sie zu markieren. Lies dann 20 Ausgaben manuell nebeneinander. Regeln fangen Regressionen ab; Lesen fängt den Ton ab. Mache beides.
Für JSON-Ausgaben setze response_format auf {"type":"json_object"} und validiere trotzdem, da die oben genannten Checks günstig sind.
Teste die Fehlerpfade gezielt
Pfade des glücklichen Falls funktionieren bei fast jedem Anbieter. Fehler sind dort, wo Migrationen weh tun, also provoziere sie gezielt, bevor es die Nutzer tun.
- Schlechter Schlüssel. Sende eine Anfrage mit einem falschen Schlüssel und bestätige, dass deine App eine vernünftige Nachricht anzeigt und nicht in einer Schleife wiederholt.
- Ratenlimits. Sende mehr als 8 Anfragen gleichzeitig auf einem Voll-Key (2 auf einem Trial-Key) und bestätige, dass dein Code HTTP 429 mit dem
concurrency-Code behandelt, dann denrate_limited-Code, wenn du über den pro Minute begrenzten Wert hinausgehst. - Vorübergehende Überlastung. Ein 429 mit
Retry-After: 5sollte zu einer Wartezeit von fünf Sekunden führen, nicht zu einer sofortigen Hammer-Wiederholung. - Zu große Eingabe. Sende einen Prompt nahe der 100.000-Token-Grenze und einen, der darüber hinausgeht. Deine App sollte kürzen oder zusammenfassen, nicht abstürzen.
- Große Payloads. Das Limit beträgt 8 MB. Bestätige, dass du größere Payloads selbst ablehnst.
- Abgebrochene Streams. Unterbrich die Verbindung mitten im Stream und bestätige, dass der Concurrency-Slot wieder frei wird.
Jeder dieser Fälle sollte einen automatisierten Test in CI gegen einen Fake-Server haben, plus einen manuellen Durchlauf gegen den echten.
Prüfe Streaming und Tool-Aufrufe
Streaming und Tools ändern die Form der Antwort, daher verpasst eine Golden-Menge, die auf Plain Text basiert, diese. Füge einen Fall für jeden hinzu.
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up an order by id",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Where is order A-1042?"}],
tools=tools,
tool_choice="auto",
)
calls = r.choices[0].message.tool_calls or []
assert calls and calls[0].function.name == "get_order_status"
print(calls[0].function.arguments)
Die Assertion prüft, ob der Aufruf existiert und ob die Argumente als das erwartete JSON parsebar sind. Füge eine Prüfung hinzu, dass die zweite Runde, bei der das Ergebnis als Nachricht mit role: "tool" zurückgesendet wird, eine normale Antwort erzeugt. Für Streams stelle sicher, dass Chunks ankommen, dass die finale Nutzung erscheint und dass dein Code am Ende des Streams mit dem Lesen aufhört.
Verfolge Latenz und Kosten pro Route
Führe die Menge auf der alten und neuen Route aus und vergleiche dieselben Spalten: Median und 95. Perzentil Sekunden, Fehleranzahl, Token, Kosten. Dieser Artikel gibt keine Latenzzahlen für Anbieter an, da deine von deinen Prompts und deinem Netzwerk abhängen. Miss deine eigenen.
Die Kosten für die neue Route sind Token-Anzahl mal die Sätze, $0,15 pro 1 Mio. Input und $0,50 pro 1 Mio. Output. Beispiel: 200 Golden Prompts mit durchschnittlich 1.200 Input- und 300 Output-Token.
- Input: 240.000 Token x $0,15 / 1.000.000 = $0,036.
- Output: 60.000 Token × $0,50 / 1.000.000 = $0,03.
- Ein vollständiger Durchlauf: $0,066.
Das Testguthaben von $0,50 reicht für etwa sieben solcher Durchläufe. Ein Test-Schlüssel erlaubt 2 parallele Anfragen und 60 pro Minute, sodass 200 Prompts mindestens dreieinhalb Minuten dauern. Fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet. Du kannst den Kontostand auch über den X-Balance-USD-Header nach jedem Aufruf prüfen, um deine Berechnungen zu bestätigen.
Shadow-Traffic und gestaffelte Einführung
Sobald die Golden Set-Tests erfolgreich waren, kopiere Live-Anfragen auf die neue Route, ohne die Antworten anzuzeigen. Logge die Ergebnisse und vergleiche sie mit den Live-Antworten unter denselben Prüfungen. Shadow-Läufe benötigen eine Begrenzung der Parallelität: Ein voller Schlüssel erlaubt 8 gleichzeitige Anfragen, also stelle die gespiegelten Aufrufe in eine Warteschlange, statt sie alle gleichzeitig abzusetzen.
Überführe echte Nutzer dann schrittweise, z. B. 5 %, 25 %, 50 % und 100 %. Halte jeden Schritt an, bis Fehlerquote, fehlgeschlagene Prüfungen und Beschwerden stabil bleiben.
Definiere die Rollback-Regeln im Voraus
Schreibe Schwellenwerte auf, bevor der erste Nutzer umgestellt wird, damit die Entscheidung im Moment mechanisch abläuft.
| Signal | Beispielauslöser |
|---|---|
| Prüfungsfehler im Live-Traffic | Mehr als dein vereinbarter Anteil schlägt die Regelprüfungen fehl |
| HTTP-429- oder 5xx-Rate | Dauerhaft über dem Baseline-Wert der alten Route |
| Latenz p95 | Über dem Zeitbudget deines Produkts |
| Kosten pro Anfrage | Über der Schätzung mit einer festen Toleranz |
| Nutzerberichte | Ein Cluster über dasselbe Verhalten |
Ein Rollback sollte eine Konfigurationsänderung sein, kein Deployment. Halte die alte Route auch nach 100 % noch einige Tage lang finanziert und konfiguriert. Wenn du bereit bist, die Tests durchzuführen, hole dir einen API-Schlüssel und nutze das Testguthaben, prüfe die Preise für größere Durchläufe und nutze die Dokumentation für Endpunktdetails.
Weitere Anleitungen
Häufig gestellte Fragen
Wie viele Golden Prompts brauche ich?
Fünfzig bis zweihundert echte Prompts decken die meisten Apps ab. Qualität ist wichtiger als die Anzahl, also schließe auch die schwierigen und zuvor fehlerhaften Fälle ein.
Kann ich Ausgaben mit einem exakten Diff vergleichen?
Nicht zuverlässig. Selbst bei temperature 0 und festem Seed sind Ausgaben variabel; prüfe Regeln wie gültiges JSON, erforderliche Fakten und Länge.
Wie verfolge ich die Kosten während der Tests?
Multipliziere die genutzten Token mit $0,15 pro 1 Mio. Input und $0,50 pro 1 Mio. Output und beobachte den X-Balance-USD-Header für den tatsächlichen Kontostand.
Was sollte einen Rollback auslösen?
Definiere zuerst Schwellenwerte: fehlgeschlagene Prüfungen, 429- oder 5xx-Raten, Latenz im Verhältnis zu deinem Timeout und Kosten im Verhältnis zur Schätzung.
Erhalte deinen API-Schlüssel
Registriere dich, kopiere den Schlüssel und aktualisiere die Base URL. Die Einrichtung ist abgeschlossen.