API Migration-Leitfaden: LLM-Anbieter sicher wechseln
Dieser API-Migrationsleitfaden zeigt, wie du eine App, die bereits mit einem OpenAI-ähnlichen Chat-Endpunkt spricht, zu einem anderen Anbieter wechselst. Der Großteil der Arbeit besteht nicht in den zwei Zeilen, die du änderst, sondern darin, herauszufinden, was zufällig vom alten Anbieter abhing.
Zuletzt aktualisiert

Zusammenfassung
- Für ein OpenAI-kompatibles Ziel änderst du die Basis-URL, den Schlüssel und die Modell-ID und überprüfst dann das Verhalten.
- Inventarisierung zuerst: Embeddings, Bilder und Fine-Tunes werden nicht in eine textbasierte API verschoben.
- Staffeltes Ausrollen nach Prozentsatz mit einem Flag, damit der Rollback eine einzelne Konfigurationsänderung erfordert.
- Schätze die neue Rechnung basierend auf deinen eigenen Token-Anzahlen vor dem Cutover ab.
Der Plan in sechs Schritten
- Erfasse alle API-Funktionen, die deine App aufruft.
- Verschiebe die Anbieter-Einstellungen in die Konfiguration.
- Ordne Parameter und Modellnamen zu.
- Füge Fehler- und Ratenlimit-Behandlung hinzu, die zu den neuen Limits passt.
- Leite einen kleinen Teil des Traffics zum neuen Anbieter und vergleiche.
- Prüfe die Kosten, führe die Umstellung durch und behalte die alte Route für eine Weile.
Das Ziel in den Beispielen ist https://api.apimigration.com/v1 mit der Modell-ID uncensored. Die gleichen Schritte gelten für jeden OpenAI-kompatiblen Anbieter, lies sie also als Checkliste statt als herstellerspezifische Anleitung. Wenn unterwegs etwas kaputtgeht, behandelt der Beitrag zur Fehlerbehebung bei häufigen LLM-Integrationsfehlern die üblichen Ursachen.
Schritt 1: Inventarisieren, was deine App verwendet
Durchsuche deinen Code nach jedem Aufruf des alten Anbieters und liste die Funktionen sowie die Endpunkte auf. Ein einzelner Chat-Aufruf verbirgt oft mehrere Abhängigkeiten: einen System-Prompt, der auf einen bestimmten Stil angewiesen ist, ein Tool-Schema, ein JSON-Antwortformat, ein großes Kontextfenster.
| Funktion in deiner App | Auf dieser API |
|---|---|
Chat-Vervollständigungen, /v1/responses | Unterstützt |
| Streaming über SSE | Unterstützt, Nutzung am Ende gesendet |
| Function Calling | Unterstützt, einschließlich gestreamter tool_calls |
| JSON-Modus | Unterstützt über response_format |
| Kontext | 100.000 Token, Prompt plus Vervollständigung |
| Embeddings, Bilder, Audio, Fine-Tuning | Nicht angeboten, behalte diese bei einem anderen Anbieter |
Wenn der alte Anbieter auch Embeddings oder Bildgenerierung behandelt hat, teile die Migration: Verschiebe nur die Textaufrufe und lass den Rest dort, wo er ist.
Schritt 2: Anbieter-Einstellungen in die Konfiguration aufnehmen
Hardcodierte URLs sind das, was eine Migration in eine Code-Änderung verwandelt. Lies die Basis-URL, den Schlüssel und das Modell aus der Umgebung, damit du ohne Release wechseln kannst.
export LLM_BASE_URL="https://api.apimigration.com/v1"
export LLM_API_KEY="YOUR_KEY"
export LLM_MODEL="uncensored"
import os
from openai import OpenAI
client = OpenAI(
base_url=os.environ["LLM_BASE_URL"],
api_key=os.environ["LLM_API_KEY"],
)
MODEL = os.environ.get("LLM_MODEL", "uncensored")
Die Authentifizierung ist der Standard-Authorization: Bearer-Header, den das SDK für dich setzt. Um den Schlüssel zu bestätigen und zu sehen, was der Server anbietet, rufe GET /v1/models auf.
curl https://api.apimigration.com/v1/models \
-H "Authorization: Bearer $LLM_API_KEY"Schritt 3: Parameter und Prompts abbilden
Parameter, die auf dieser API durchgehen: temperature, top_p, stop, seed und die Häufigkeits- und Präsenzstrafen. max_tokens ist optional. Wenn dein alter Code ihn setzt, um vor unkontrollierten Kosten zu schützen, behalte ihn.
Drei Dinge verdienen eine bewusste Prüfung.
- Anbieterspezifische Felder. Alles außerhalb des OpenAI-Anfrageformats wird möglicherweise ignoriert oder abgelehnt. Sende eine Anfrage mit deinem genauen Produktions-Payload und lies die Antwort.
- Modellverhalten. Ein anderes Modell liest den gleichen Prompt anders. System-Prompts, die für das alte Modell optimiert waren, benötigen oft kleine Bearbeitungen. Teste sie, gehe nicht davon aus.
- Ablehnungen. Wenn deine alten Prompts Workarounds zur Vermeidung von Ablehnungen enthielten, kannst du sie hier normalerweise löschen, was den Prompt verkürzt.
Das Modell unterscheidet sich auch darin, was es beantwortet. Dieses ist für die rechtmäßige Nutzung durch Erwachsene ohne Inhaltsablehnungen optimiert, und sexuelle Inhalte mit Minderjährigen werden blockiert.
Schritt 4: Fehlerbehandlung an die neuen Limits anpassen
Ein voller Schlüssel erlaubt 8 parallele Anfragen und 300 pro Minute. Ein Versuchsschlüssel erlaubt 2 und 60. Über dem Limit erhältst du HTTP 429 mit dem Fehlercode rate_limited oder concurrency. Bei temporärer Überlastung erhältst du ebenfalls eine 429 mit Retry-After: 5.
import time
from openai import RateLimitError
def chat(messages, retries=4):
for attempt in range(retries):
try:
return client.chat.completions.create(model=MODEL, messages=messages)
except RateLimitError:
time.sleep(5 * (attempt + 1))
raise RuntimeError("still rate limited after retries")
Gestreamte Anfragen belegen ihren Parallelitäts-Slot bis zum Stream-Ende, sodass ein hängender Client den Rest verhungern lassen kann. Schließe Streams in einem finally-Block. Wenn dein alter Anbieter mehr parallele Aufrufe erlaubte, füge einen Semaphore hinzu, der auf das neue Limit skaliert ist. Fehlgeschlagene Anfragen werden nicht berechnet, was Wiederholungen sicher für dein Budget macht.
Schritt 5: Nach Prozentsatz ausrollen
Schalte nicht alles auf einmal um. Sende einen kleinen, stabilen Anteil an Benutzer an den neuen Anbieter und behalte den alten als Fallback. Das Hashen der Benutzer-ID hält jeden Benutzer auf einer Seite, sodass Gespräche nicht mitten drin die Stimme wechseln.
import hashlib
def use_new(user_id: str, percent: int) -> bool:
bucket = int(hashlib.sha256(user_id.encode()).hexdigest(), 16) % 100
return bucket < percent
# 5 percent, then 25, 50, 100 as metrics hold
new_client = OpenAI(base_url="https://api.apimigration.com/v1", api_key=os.environ["NEW_KEY"])
old_client = OpenAI(base_url=os.environ["OLD_BASE_URL"], api_key=os.environ["OLD_KEY"])
def pick(user_id):
return new_client if use_new(user_id, int(os.environ.get("ROLLOUT_PERCENT", "0"))) else old_client
Erhöhe den Prozentsatz erst, nachdem die vorherige Stufe einen Tag lang sauber gelaufen ist. Der Rollback ist dann eine Umgebungsvariable, die wieder auf 0 gesetzt wird.
Was Teams nach dem Wechsel meist überrascht
Die Änderung der Base URL funktioniert beim ersten Versuch. Die Überraschungen kommen später.
- Tonalität und Format-Drift. Derselbe Prompt liefert eine anders formulierte Antwort. Funktionen, die Freitext parsen, wie ein Regex für "Answer:"-Präfixe, brechen als Erstes. Nutze für alles, was ein Programm liest, den JSON-Modus oder Tool Calls.
- Unterschiedliche Token-Anzahlen. Jedes Modell tokenisiert Text auf seine eigene Weise. Deine Kostenschätzung basierend auf den Token-Anzahlen des alten Anbieters wird um einen gewissen Betrag abweichen, also miss erneut mit dem
usage-Feld. - Ausgabelänge. Ohne
max_tokenskann die Completion den Rest des 100.000-Token-Fensters nutzen. Wenn dein altes Setup einen Standard-Limitwert hatte, setze ihn gezielt. - Timeouts. Dein Client-Timeout war auf den alten Anbieter abgestimmt. Lange Antworten auf einem neuen Anbieter können darüber hinausgehen. Streame, wo es geht, und erhöhe das Timeout für nicht-gestreamte Aufrufe.
- Stille Ablehnungen ändern sich. Wenn dein Produkt Ablehnungsnachrichten abgefangen und einen Fallback angezeigt hat, wird dieser Code möglicherweise nicht mehr ausgelöst. Entscheide, ob du das noch möchtest.
Eine kurze Checkliste vor dem Cutover
- Jede Funktion in deinem Inventar hat ein getestetes Äquivalent oder eine dokumentierte Lücke.
- Base URL, Schlüssel und Modell stammen aus der Konfiguration in jedem Dienst, der die API aufruft.
- Ratenlimit und Concurrency-Limits in deinem Code entsprechen den neuen Limits.
- Streams werden bei Client-Trennung geschlossen.
- Logs enthalten den
X-Request-Id-Header, damit du bei einer Anfrage um Hilfe eine Anfrage zitieren kannst. - Der Kontostand wird über
X-Balance-USDoderGET /v1/balanceüberwacht, mit einer Warnung, bevor er niedrig wird. - Der alte Anbieter ist noch finanziert und für einen Rollback konfiguriert.
- Eine benannte Person trifft die Entscheidung zum Rollback.
Der letzte Punkt wirkt erst albern, bis ein Vorfall um 2 Uhr nachts passiert. Jemand muss die Möglichkeit haben, den Flag umzulegen.
Schritt 6: Kosten prüfen, dann umstellen
Ermittele die neue Abrechnung aus deinem eigenen Traffic. Die Preise liegen bei $0,15 pro 1 Mio. Input-Token und $0,50 pro 1 Mio. Output-Token.
Beispiel: 10.000 Anfragen pro Tag, jede mit 1.500 Input-Token und 400 Output-Token.
- Input: 15.000.000 Token x $0,15 / 1.000.000 = $2,25.
- Output: 4.000.000 Token x $0,50 / 1.000.000 = $2,00.
- Gesamt: $4,25 pro Tag.
Vergleiche das mit der alten Rechnung, indem du die aktuelle Preisliste des alten Anbieters heranziehst. Die Abrechnung hier erfolgt über Prepaid-Guthaben ohne Abonnement, und das Guthaben verfällt nicht. Aufladungen laufen in ganzen Beträgen von $20 bis $500, mit einem Bonus von 5 % ab $50, 10 % ab $100 und 15 % ab $200, zahlbar in Krypto (USDT auf TRC20 oder USDC auf Base). Der Kontostand wird im X-Balance-USD-Antwortheader angezeigt, sodass du darauf reagieren kannst.
Neue Konten können $0,50 an Testguthaben für die ersten Tests beanspruchen. Siehe Preise, hole dir dann einen API-Schlüssel und halte die Dokumentation offen, während du Parameter zuordnest.
Weitere Anleitungen
Häufig gestellte Fragen
Kann ich migrieren, indem ich nur die Base URL ändere?
Für eine OpenAI-kompatible API sind Base URL, Schlüssel und Modell-ID die erforderlichen Änderungen. Du solltest trotzdem Prompts testen, da ein anderes Modell anders antwortet.
Werden meine Tool Calls und der JSON-Modus weiterhin funktionieren?
Function Calling und JSON-Modus (response_format json_object) werden unterstützt. Validiere deine Schemas mit echten Prompts vor der Umstellung.
Was ist, wenn meine App Embeddings nutzt?
Diese API ist nur Text und bietet keine Embeddings, Bildgenerierung oder Fine-Tuning. Behalte diese Aufrufe bei deinem aktuellen Anbieter.
Wie rolle ich schnell zurück?
Leite über eine Flagge wie einen Rollout-Prozentsatz, und behalte den alten Client konfiguriert, bis die neue Route einige Tage sauber gelaufen ist.
Erhalte deinen API-Schlüssel
Registrieren, Schlüssel kopieren, Base URL aktualisieren. Die Einrichtung ist abgeschlossen.