माइग्रेशन API: सामान्य LLM इंटीग्रेशन त्रुटियों का निवारण

बेस यूआरएल की गलत विन्यास

विफलता का पहला बिंदु लगभग हमेशा बेस यूआरएल होता है। जब आप प्रदाता बदलते हैं, तो आपको उस एंडपॉइंट को अपडेट करना होता है जिससे आपका SDK संपर्क करता है। एक गलत यूआरएल आपके पेलोड के मशीन छोड़ने से पहले ही 404 या 403 त्रुटि का कारण बनता है।

सुनिश्चित करें कि आपका क्लाइंट सही डोमेन पर पॉइंट करता है। हमारी सेवा के लिए, बेस यूआरएल है https://api.apimigration.com/v1. यह URL मानक OpenAI SDKs के साथ बस बदलकर काम करता है base_url पैरामीटर।

• प्रोटोकॉल (HTTPS बनाम HTTP) की जांच करें।
• अपने क्लाइंट कॉन्फ़िगरेशन में ट्रेलिंग स्लैश के लिए जाँच करें।
• सुनिश्चित करें कि संस्करण पथ (/v1) आपकी API स्पेसिफिकेशन से मेल खाता है।

Copycurl https://api.apimigration.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run the latest migration script for the user table"}]
  }'

संदर्भ विंडो सीमाओं को अनदेखा करें

आपके मॉडल की संयुक्त प्रॉम्प्ट और पूर्णता के लिए 100,000 टोकन की एक कठोर सीमा है। यदि आप इससे अधिक करते हैं, तो API अनुरोध को अस्वीकार कर देता है या कार्यान्वयन के आधार पर आपकी इतिहास को चुपचाप ट्रंक कर देता है। इस दीवार को पार न करने के लिए अपने टोकन उपयोग को हमेशा ट्रैक करें।

इसके अलावा, प्रति अनुरोध अधिकतम आउटपुट 16,000 टोकन है। यदि आप सेट नहीं करते max_tokens, डिफ़ॉल्ट 2,048 टोकन है। लंबी सामग्री उत्पादन कार्यों के लिए यह अंतर महत्वपूर्ण है।

• प्रति अनुरोध कुल टोकन गणना की निगरानी करें।
• सेट करें max_tokens लंबे आउटपुट के लिए स्पष्ट रूप से।
• बहुत लंबी बातचीत के लिए स्लाइडिंग विंडो तर्क लागू करें।

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apimigration.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

गलत स्ट्रीमिंग कार्यान्वयन

स्ट्रीमिंग प्रतिक्रियाओं को सर्वर-सेंट इवेंट्स (SSE) के विशिष्ट हैंडलिंग की आवश्यकता होती है। यदि आप स्ट्रीम को एकल JSON ऑब्जेक्ट के रूप में मानते हैं, तो आपका कोड हैंग या क्रैश हो सकता है। प्रत्येक चंक आंशिक डेटा रखता है, और अंतिम चंक में टोकन उपयोग सांख्यिकी शामिल होती है।

स्ट्रीम को क्रमिक रूप से पढ़ें। हर इवेंट को आने पर प्रोसेस करें। इससे अंत-उपयोगकर्ताओं के लिए अनुभवी लेटेंसी कम होती है। प्रोसेसिंग शुरू करने से पहले पूरे रिस्पॉन्स का इंतज़ार न करें।

• कनेक्शन खोलें और लाइन-दर-लाइन पढ़ें।
• पार्स करें data: लाइनों के रूप में JSON।
• हैंडल करें [DONE] सही संकेत दें।

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

रेट लिमिट्स को नजरअंदाज करना

हमारा API प्रति कुंजी प्रति मिनट 300 अनुरोधों की अनुमति देता है। यदि आपकी एप्लिकेशन में स्पाइक आती है, तो आपको 429 Too Many Requests त्रुटियां प्राप्त होंगी। आपको इनका सहजता से प्रबंधन करने के लिए एक्सपोनेंशियल बैकऑफ लागू करना होगा।

समानांतर अनुरोध प्रति कुंजी एक ही समय में 8 तक सीमित हैं। इस सीमा को पार करने से कनेक्शन पूल क्षय हो सकता है। अपने एक साथ कनेक्शन की निकटता से निगरानी करें।

• 429 त्रुटियों के लिए एक्सपोनेंशियल बैकऑफ लागू करें।
• समानांतर कनेक्शन की संख्या को 8 तक सीमित करें।
• उच्च लोड के लिए सर्किट ब्रेकर पैटर्न का उपयोग करें।

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apimigration.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

मानक JSON प्रारूप मानते हुए

हालाँकि हम OpenAI-कम्पैटिबल फॉर्मेट्स का पालन करते हैं, धारणाएं आपकी एकीकरण को तोड़ सकती हैं। सुनिश्चित करें कि आप अनुरोध करें json_object में response_format यदि आपको strict JSON की आवश्यकता है। इसके बिना, मॉडल markdown या plain text लौटा सकता है।

उत्तर को सावधानी से पार्स करें। इसे उपयोग करने से पहले JSON संरचना की सत्यापन (validation) करें। यह डाउनस्ट्रीम सेवाओं में रनटाइम त्रुटियों को रोकता है।

• सेट करें response_format को {"type": "json_object"}.
• पार्स करने से पहले JSON की जाँच करें।
• दोषपूर्ण प्रतिक्रियाओं को सहजता से संभालें।

Copycurl https://api.apimigration.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run the latest migration script for the user table"}]
  }'

त्रुटि हैंडलिंग की उपेक्षा करना

APIs विफल हो सकते हैं। नेटवर्क टाइमआउट, सर्वर त्रुटियां और अमान्य पेलोड होते हैं। आपके कोड को इन त्रुटियों को क्रैश किए बिना संभालना चाहिए। डीबगिंग के लिए त्रुटि विवरण लॉग करें।

त्रुटि कोड और संदेश की जाँच करें। अस्थायी त्रुटियों पर पुनः प्रयास करें। स्थायी त्रुटियों पर तुरंत विफल हों। यह अंतर समय और संसाधनों को बचाता है।

• त्रुटि कोड और संदेश लॉग करें।
• बैकऑफ के साथ 5xx त्रुटियों पर पुनः प्रयास करें।
• 4xx त्रुटियों पर जल्दी विफल हों।

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apimigration.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

भुगतान और कुंजी रोटेशन समस्याएं

हमारा API क्रिप्टो के माध्यम से प्रीपेड क्रेडिट का उपयोग करता है। क्रेडिट समाप्त नहीं होता। यदि आपका क्रेडिट खत्म हो जाता है, तो अनुरोध विफल हो जाते हैं। अपने बैलेंस की निगरानी करें और शून्य होने से पहले टॉप-अप करें।

प्रत्येक खाते में एक सक्रिय कुंजी होती है। एक नई कुंजी जनरेट करने से पुरानी कुंजी तुरंत अमान्य हो जाती है। सुनिश्चित करें कि आपका डिप्लॉयमेंट कुंजी को परमाणु रूप से अपडेट करता है ताकि डाउनटाइम न हो।

• क्रेडिट शेष राशि की नियमित निगरानी करें।
• कुंजियों को परमाणु रूप से घुमाएं।
• सभी उदाहरणों को एक साथ अपडेट करें।

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apimigration.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

सर्वोत्तम अभ्यास का सारांश

माइग्रेशन की सफलता ध्यान से संबंधित है। अपने बेस यूआरएल की जांच करें। संदर्भ सीमाओं का सम्मान करें। स्ट्रीमिंग को सही ढंग से हैंडल करें। दर सीमाओं को प्रबंधित करें। JSON को मान्य करें। त्रुटियों को हैंडल करें। भुगतान और कुंजियों का प्रबंधन करें। इन चरणों का पालन करने से एक सुचारू संक्रमण सुनिश्चित होता है।

लाइव जाने से पहले अपने एकीकरण का व्यापक परीक्षण करें। ट्रायल क्रेडिट का उपयोग अपनी सेटअप की पुष्टि करने के लिए करें। यह उत्पादन में महंगी डाउनटाइम को रोकता है।

• बेस URL की पुष्टि करें।
• संदर्भ सीमाओं का सम्मान करें।
• स्ट्रीमिंग को सही ढंग से हैंडल करें।
• रेट लिमिट का प्रबंधन करें।
• JSON की जाँच करें।
• त्रुटियों को संभालें।
• भुगतान और कुलियों का प्रबंधन करें।

Copycurl https://api.apimigration.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run the latest migration script for the user table"}]
  }'