API Peralihan: Menyelesaikan Kesilapan Integrasi LLM Biasa

Menyalahkonfigurasi URL Asas

Titik kegagalan pertama hampir selalu ialah URL asas. Apabila anda menukar penyedia, anda mesti mengemas kini hujung sambungan yang disentuh oleh SDK anda. URL yang salah akan menyebabkan ralat 404 atau 404 sebelum beban anda meninggalkan mesin anda.

Pastikan klien anda menunjuk ke domain yang betul. Untuk perkhidmatan kami, URL asas ialah https://api.apimigration.com/v1. URL ini berfungsi dengan SDK OpenAI standard dengan hanya mengubah base_url parameter.

• Sahkan protokol (HTTPS vs HTTP).
• Periksa garis miring akhir dalam konfigurasi klien anda.
• Sahkan laluan versi (/v1) sepadan dengan spesifikasi API anda.

Copycurl https://api.apimigration.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run the latest migration script for the user table"}]
  }'

Mengabaikan Had Tingkap Konteks

Model anda mempunyai had keras 100,000 token untuk gabungan prompt dan penyelesaian. Jika anda melebihi ini, API menolak permintaan atau memendekkan sejarah anda secara senyap bergantung pada pelaksanaan. Sentiasa lacak penggunaan token anda untuk mengelakkan mencapai dinding ini.

Selain itu, output maksimum setiap permintaan ialah 16,000 token. Jika anda tidak menetapkan max_tokens, nilai lalai ialah 2,048 token. Perbezaan ini signifikan untuk tugas penjanaan kandungan panjang.

• Pantau jumlah jumlah token setiap permintaan.
• Tetapkan max_tokens secara eksplisit untuk output panjang.
• Laksanakan logik tetingkap gelongsor untuk perbualan yang sangat panjang.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apimigration.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Implementasi Penstriman Salah

Respons aliran memerlukan penanganan khusus Acara Dihantar Pelayan (SSE). Jika anda memperlakukan aliran sebagai objek JSON tunggal, kod anda akan menggantung atau rosak. Setiap bahagian mengandungi data separuh, dan bahagian akhir termasuk statistik penggunaan token.

Baca aliran secara beransur-ansur. Proses setiap peristiwa apabila ia tiba. Ini mengurangkan latensi yang dirasakan untuk pengguna akhir. Jangan tunggu keseluruhan respons sebelum memproses.

• Buka sambungan dan baca baris demi baris.
• Huraikan data: baris sebagai JSON.
• Tangani [DONE] isyarat dengan betul.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Melangkau Had Kadar

API kami membenarkan 300 permintaan setiap minit per kunci. Jika aplikasi anda mengalami lonjakan, anda akan menerima ralat 429 Too Many Requests. Anda mesti melaksanakan backoff eksponen untuk mengendalikan ralat ini dengan lancar.

Permintaan serentak juga dihadkan kepada 8 serentak bagi setiap kunci. Melebihi had ini boleh menyebabkan kehabisan kolam sambungan. Pantau sambungan serentak anda dengan teliti.

• Laksanakan penangguhan eksponen untuk ralat 429.
• Hadkan sambungan serentak kepada 8.
• Gunakan corak pemutus litar untuk beban tinggi.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apimigration.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Mengandaikan Format JSON Piawai

Walaupun kami mengikut format serasi OpenAI, andaian boleh mematahkan integrasi anda. Pastikan anda meminta json_object dalam response_format jika anda memerlukan JSON ketat. Tanpa ini, model mungkin mengembalikan markdown atau teks biasa.

Uraikan respons dengan teliti. Sahkan struktur JSON sebelum menggunakannya. Ini mencegah ralat masa larian dalam perkhidmatan downstream.

• Tetapkan response_format ke {"type": "json_object"}.
• Sahkan JSON sebelum penguraian.
• Tangani respons yang rosak dengan lembut.

Copycurl https://api.apimigration.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run the latest migration script for the user table"}]
  }'

Mengabaikan Pengendalian Ralat

API boleh gagal. Masa tamat rangkaian, ralat pelayan, dan muatan tidak sah berlaku. Kod anda mesti mengendalikan ralat ini tanpa kren. Log butiran ralat untuk penyahpepijatan.

Semak kod ralat dan mesej. Cuba semula pada ralent sementara. Gagal dengan cepat pada ralent kekal. Perbezaan ini menjimatkan masa dan sumber.

• Log kod ralat dan mesej.
• Cuba semula pada ralat 5xx dengan penyesuaian balik.
• Gagal dengan cepat pada ralat 4xx.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apimigration.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Masalah Pembatalan Kunci dan Pembayaran

API kami menggunakan kredit pra-bayar melalui kripto. Kredit tidak luput. Jika kredit anda habis, permintaan akan gagal. Pantau baki anda dan tambah baki sebelum ia mencapai sifar.

Setiap akaun mempunyai satu kunci aktif. Penjanaan kunci baharu menjadikan kunci lama tidak sah serta-merta. Pastikan deployment anda mengemas kini kunci secara atomik untuk mengelakkan masa henti.

• Pantau baki kredit secara berkala.
• Putar kunci secara atom.
• Kemas kini semua serentak.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apimigration.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Ringkasan Amalan Terbaik

Kejayaan migrasi bergantung kepada perhatian terhadap perincian. Sahkan URL asas anda. Hormati had konteks. Uruskan penstriman dengan betul. Urus had kadar. Sahkan JSON. Tangani ralat. Urus pembayaran dan kunci. Mengikuti langkah-langkah ini memastikan peralihan yang lancar.

Uji integrasi anda dengan teliti sebelum dilancarkan. Gunakan kredit percubaan untuk mengesahkan persediaan anda. Ini mencegah masa henti yang mahal dalam pengeluaran.

• Sahkan URL asas.
• Hormati had konteks.
• Tangani aliran dengan betul.
• Urus had kadar.
• Sahkan JSON.
• Tangani ralat.
• Urus pembayaran dan kunci.

Copycurl https://api.apimigration.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run the latest migration script for the user table"}]
  }'