Migration API: Felsökning av vanliga LLM-integrationsfel

Felkonfiguration av bas-URL

Den första punkten för fel är nästan alltid bas-URL:en. När du byter leverantör måste du uppdatera den slutpunkt som ditt SDK kontaktar. En felaktig URL resulterar i ett 404- eller 403-fel innan din paylod ens lämnar din maskin.

Se till att din klient pekar på rätt domän. För vår tjänst är bas-URL:en https://api.apimigration.com/v1. Denna URL fungerar med standard OpenAI SDK:en genom att helt enkelt ändra base_url parameter.

• Verifiera protokollet (HTTPS vs HTTP).
• Kontrollera för efterkommatecken i din klientkonfiguration.
• Bekräfta att versionsvägen (/v1) matches your API specification.

Copycurl https://api.apimigration.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run the latest migration script for the user table"}]
  }'

Ignorerar kontextfönstrets begränsningar

Din modell har en hård gräns på 100,000 tokens för kombinerad prompt och svar. Om du överskrider detta kommer API:et att avvisa förfrågan eller klippa av din historik tyst beroende på implementation. Spåra alltid din tokenanvändning för att undvika att träffa denna vägg.

Maximal output per förfrågan är 16,000 tokens. Om du inte ställer in max_tokens, standardvärdet är 2 048 tokens. Denna skillnad är betydande för uppgifter med lång textgenerering.

• Övervaka totalt antal tokens per begäran.
• Ställ in max_tokens explicit för långa utdata.
• Implementera glidande fönsterlogik för mycket långa konversationer.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apimigration.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Felaktig strömningsimplementering

Streaming-responder kräver specifik hantering av Server-Sent Events (SSE). Om du behandlar en ström som ett enda JSON-objekt kommer din kod att hänga eller krascha. Varje del innehåller delvis data, och den sista delen innehåller tokenanvändningsstatistik.

Läs strömmen inkrementellt. Bearbeta varje händelse när den anländer. Detta minskar den upplevda latensen för slutanvändare. Vänta inte på hela svaret innan bearbetning.

• Öppna en anslutning och läs rad för rad.
• Parsera data: linjer som JSON.
• Hantera [DONE] signalera korrekt.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Att förbise hastighetsbegränsningar

Vårt API tillåter 300 anrop per minut per nyckel. Om din applikation har toppar får du 429 Too Many Requests-fel. Du måste implementera exponentiell backoff för att hantera dessa på ett skonsamt sätt.

Parallella förfrågningar är också begränsade till 8 samtidigt per nyckel. Att överskrida denna gräns kan leda till utmattning av anslutningspoolen. Övervaka dina parallella anslutningar noga.

• Implementera exponentiell backoff för 429-fel.
• Begränsa samtidiga anslutningar till 8.
• Använd ett strömbrytarmönster för hög belastning.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apimigration.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Anta standard JSON-format

Även om vi följer OpenAI-kompatibla format kan antaganden bryta din integration. Se till att du begär json_object i response_format om du behöver strikt JSON. Utan detta kan modellen returnera markdown eller ren text.

Analysera svaret noggrant. Validera JSON-strukturen innan du använder den. Detta förhindrar körningstidsfel i nedströms tjänster.

• Ställ in response_format för {"type": "json_object"}.
• Validera JSON innan parsing.
• Hantera felaktiga svar smidigt.

Copycurl https://api.apimigration.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run the latest migration script for the user table"}]
  }'

Att försumma felhantering

API:er kan falla. Nätverks-timeouts, serverfel och ogiltiga payload-förekommer. Din kod måste hantera dessa fel utan att krascha. Logga felmeddelandena för felsökning.

Kontrollera felkoden och meddelandet. Försök igen vid tillfälliga fel. Misslyckas snabbt vid permanenta fel. Denna åtskillnad sparar tid och resurser.

• Logga felkoder och meddelanden.
• Försök igen vid 5xx-fel med backoff.
• Misslyckas snabbt vid 4xx-fel.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apimigration.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Betalning och problem med nyomrotation av nycklar

Vårt API använder förbetald kredit via krypto. Krediten löper inte ut. Om du tar slut på kredit misslyckas förfrågningar. Övervaka ditt saldo och ladda upp innan det når noll.

Varje konto har en aktiv nyckel. Att generera en ny nyckel ogiltigförklarar den gamla omedelbart. Se till att din distribution uppdaterar nyckeln atomärt för att undvika driftstopp.

• Övervaka kreditbalansen regelbundet.
• Rotera nycklar atomärt.
• Uppdatera alla instanser samtidigt.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apimigration.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Sammanfattning av bästa praxis

Migreringssuccess beror på noggrannhet. Verifiera din bas-URL. Respektera kontextgränser. Hantera streaming korrekt. Hantera rate limits. Validera JSON. Hantera fel. Hantera betalningar och nycklar. Att följa dessa steg säkerställer en smidig övergång.

Testa din integration noggrant innan du går live. Använd provkrediten för att verifiera din installation. Detta förhindrar kostsamma driftstopp i produktion.

• Verifiera bas-URL:en.
• Respektera kontextgränserna.
• Hantera strömning korrekt.
• Hantera hastighetsbegränsningar.
• Validera JSON.
• Hantera fel.
• Hantera betalningar och nycklar.

Copycurl https://api.apimigration.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run the latest migration script for the user table"}]
  }'