移行API：一般的なLLM統合エラーのトラブルシューティング

ベースURLの設定ミス

最初の障害点は、ほぼ常にベースURLです。プロバイダを変更する際は、SDKが接続するエンドポイントを更新する必要があります。間違ったURLは、ペイロードがマシンから離れる前に404または403エラーを引き起こします。

クライアントが正しいドメインを指していることを確認してください。当サービスの場合、ベースURLは https://api.apimigration.com/v1このURLは、標準的なOpenAI SDKに base_url パラメータ。

• プロトコル（HTTPS vs HTTP）を確認してください。
• クライアント設定の末尾のスラッシュを確認してください。
• 確認してください。バージョンパス（/v1) はあなたの API 仕様に一致します。

Copycurl https://api.apimigration.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run the latest migration script for the user table"}]
  }'

コンテキストウィンドウの制限を無視

モデルのトークン数には、プロンプトと completion の合計で100,000トークンのハードリミットがあります。これを超えると、APIはリクエストを拒否するか、実装に応じて履歴を静かに切り捨てます。この制限に達しないよう、トークン使用量を常に追跡してください。

さらに、1つのリクエストあたりの最大出力は16,000トークンです。指定しない場合 max_tokens, デフォルトは2,048トークンです。この差は長文生成タスクにおいて重要です。

• リクエストごとの総トークン数を監視します。
• 設定 max_tokens 長い出力のために明示的。
• 非常に長い会話に対してスライディングウィンドウロジックを実装してください。

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apimigration.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

ストリーミングの実装が正しくない

ストリーミングレスポンスにはServer-Sent Events (SSE) の特定の処理が必要です。ストリームを単一のJSONオブジェクトとして扱うと、コードがハングまたはクラッシュします。各チャンクには部分的なデータが含まれており、最終チャンクにはトークン使用統計が含まれます。

ストリームを逐次読み取り、到着するたびに各イベントを処理します。これにより、エンドユーザーの知覚レイテンシが削減されます。処理を開始する前に応答全体を待たないでください。

• 接続を開き、1行ずつ読み取ります。
• 解析 data: 行をJSONとして。
• Handle the [DONE] 正しくシグナルを送る。

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

レート制限を見逃す

当社のAPIは、キーごとに1分あたり300リクエストをサポートしています。アプリケーションでトラフィックが急増すると、429 Too Many Requestsエラーが発生します。これらのエラーを適切に処理するために指数関数的バックオフを実装する必要があります。

並列リクエストはキーあたり同時に最大 8 に制限されます。この制限を超えると、接続プールが枯渇する可能性があります。同時接続を注意深く監視してください。

• 429エラーに対して指数関数的バックオフを実装します。
• 同時接続数を8に制限します。
• 高負荷時にサーキットブレーカーパターンを使用してください。

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apimigration.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

標準的なJSON形式を想定する

OpenAI互換の形式に従っていますが、前提条件が整合性のない実装により統合が破綻する可能性があります。要求していることを確認してください json_object で response_format 厳密なJSONが必要な場合。これがなければ、モデルはマークダウンやプレーンテキストを返す可能性があります。

レスポンスを注意深く解析します。使用する前にJSON構造を検証します。これにより、ダウンストリームサービスでのランタイムエラーを防ぎます。

• 設定 response_format に {"type": "json_object"}.
• 解析前にJSONを検証
• 不正なレスポンスを適切に処理します。

Copycurl https://api.apimigration.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run the latest migration script for the user table"}]
  }'

エラーハンドリングの無視

APIは失敗することがあります。ネットワークタイムアウト、サーバーエラー、無効なペイロードが発生します。コードはクラッシュせずにこれらのエラーを処理する必要があります。デバッグのためにエラー詳細をログに記録してください。

エラーコードとメッセージを確認してください。一時的なエラーの場合は再試行し、恒久的なエラーの場合は即座に失敗させます。この区別により、時間とリソースを節約できます。

• エラーコードとメッセージをログに記録。
• 5xxエラーでバックオフ付きでリトライします。
• 4xxエラーで速やかに失敗します。

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apimigration.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

お支払いとキーローテーションの問題

当社のAPIは暗号通貨によるプリペイドクレジットを使用します。クレジットの有効期限はありません。クレジットが枯渇するとリクエストが失敗します。残高を監視し、ゼロになる前にチャージしてください。

各アカウントには1つのアクティブなキーがあります。新しいキーを生成すると、古いキーは直ちに無効化されます。デプロイ時にキーをアトミックに更新し、ダウンタイムを回避してください。

• クレジット残高を定期的に監視します。
• キーをアトミックに回転させる。
• すべてのインスタンスを同時に更新します。

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apimigration.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

ベストプラクティスの概要

移行の成功は細部への注意に依存します。ベースURLを確認してください。コンテキスト制限を尊重してください。ストリーミングを正しく処理してください。レート制限を管理してください。JSONを検証してください。エラーを処理してください。支払いとキーを管理してください。これらの手順に従うことで、スムーズな移行が保証されます。

本番環境にリリースする前に、統合を十分にテストしてください。試用クレジットを使用して設定を確認してください。これにより、本番環境での高額なダウンタイムを防ぐことができます。

• ベースURLを確認する。
• コンテキストの制限を尊重してください。
• ストリーミングを正しく処理します。
• レート制限の管理。
• JSONを検証
• エラーを処理します。
• 支払いとキーの管理。

Copycurl https://api.apimigration.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run the latest migration script for the user table"}]
  }'