Chuyển đổi API: Khắc phục sự cố Lỗi tích hợp LLM phổ biến

Cấu hình sai URL cơ sở

Điểm thất bại đầu tiên gần như luôn là URL cơ sở. Khi bạn chuyển đổi nhà cung cấp, bạn phải cập nhật điểm cuối mà SDK của bạn liên lạc. Một URL sai sẽ dẫn đến lỗi 404 hoặc 403 trước khi tải trọng của bạn thậm chí rời khỏi máy của bạn.

Đảm bảo khách hàng của bạn trỏ đến tên miền chính xác. Đối với dịch vụ của chúng tôi, URL cơ sở là https://api.apimigration.com/v1. URL này hoạt động với các SDK OpenAI tiêu chuẩn bằng cách chỉ thay đổi base_url tham số.

• Xác minh giao thức (HTTPS so với HTTP).
• Kiểm tra các dấu gạch chéo cuối trong cấu hình máy khách của bạn.
• Xác nhận đường dẫn phiên bản (/v1) khớp với thông số kỹ thuật API của bạn.

Copycurl https://api.apimigration.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run the latest migration script for the user table"}]
  }'

Bỏ qua Giới hạn Cửa sổ Ngữ cảnh

Mô hình của bạn có giới hạn cứng là 100.000 token cho prompt và kết hợp hoàn thành cộng lại. Nếu bạn vượt quá giới hạn này, API sẽ từ chối yêu cầu hoặc cắt ngắn lịch sử của bạn một cách âm thầm tùy thuộc vào cách triển khai. Luôn theo dõi việc sử dụng token của bạn để tránh chạm vào giới hạn này.

Ngoài ra, số lượng đầu ra tối đa cho mỗi yêu cầu là 16,000 token. Nếu bạn không đặt max_tokens, mặc định là 2.048 token. Sự khác biệt này rất đáng kể đối với các nhiệm vụ tạo nội dung dài.

• Theo dõi tổng số token cho mỗi yêu cầu.
• Đặt max_tokens một cách rõ ràng cho các đầu ra dài.
• Triển khai logic cửa sổ trượt cho các cuộc hội thoại rất dài.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apimigration.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Triển khai Streaming không chính xác

Các phản hồi dạng stream yêu cầu xử lý cụ thể các sự kiện được máy chủ gửi (SSE). Nếu bạn coi luồng dữ liệu là một đối tượng JSON đơn lẻ, mã của bạn sẽ bị treo hoặc crash. Mỗi chunk chứa dữ liệu từng phần, và chunk cuối cùng bao gồm các thống kê sử dụng token.

Đọc luồng theo cách tăng dần. Xử lý từng sự kiện khi nó đến. Điều này làm giảm độ trễ cảm nhận được cho người dùng cuối. Đừng đợi toàn bộ phản hồi trước khi xử lý.

• Mở kết nối và đọc từng dòng.
• Phân tích cú pháp data: dòng dưới dạng JSON.
• Xử lý [DONE] tín hiệu đúng cách.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Bỏ qua giới hạn tốc độ

API của chúng tôi cho phép 300 yêu cầu mỗi phút trên mỗi khóa. Nếu ứng dụng của bạn tăng đột biến, bạn sẽ nhận được lỗi 429 Too Many Requests. Bạn phải triển khai cơ chế backoff theo cấp số nhân để xử lý các lỗi này một cách mượt mà.

Yêu cầu đồng thời cũng bị giới hạn ở 8 cùng lúc mỗi khóa. Vượt quá giới hạn này có thể gây cạn kiệt kết nối. Theo dõi các kết nối đồng thời của bạn kỹ lưỡng.

• Triển khai cơ chế tăng dần thời gian chờ (exponential backoff) cho lỗi 429.
• Giới hạn kết nối đồng thời ở mức 8.
• Sử dụng mẫu mạch ngắt cho tải cao.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apimigration.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Giả sử các định dạng JSON tiêu chuẩn

Mặc dù chúng tôi tuân theo các định dạng tương thích OpenAI, các giả định có thể làm hỏng tích hợp của bạn. Hãy đảm bảo bạn yêu cầu json_object trong response_format nếu bạn cần JSON nghiêm ngặt. Không có điều này, mô hình có thể trả về markdown hoặc văn bản thuần.

Phân tích phản hồi cẩn thận. Xác thực cấu trúc JSON trước khi sử dụng nó. Điều này ngăn chặn lỗi thời gian chạy trong các dịch vụ phía sau.

• Đặt response_format để {"type": "json_object"}.
• Xác thực JSON trước khi phân tích cú pháp.
• Xử lý các phản hồi bị lỗi một cách khéo léo.

Copycurl https://api.apimigration.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run the latest migration script for the user table"}]
  }'

Bỏ qua Xử lý Lỗi

APIs có thể gặp sự cố. Thời gian chờ mạng, lỗi máy chủ và tải không hợp lệ xảy ra. Mã của bạn phải xử lý các lỗi này mà không bị sập. Ghi lại chi tiết lỗi để gỡ lỗi.

Kiểm tra mã lỗi và thông báo. Hãy thử lại khi gặp lỗi tạm thời. Hãy thất bại nhanh chóng khi gặp lỗi vĩnh viễn. Sự phân biệt này giúp tiết kiệm thời gian và tài nguyên.

• Ghi lại mã lỗi và thông báo.
• Thử lại với các lỗi 5xx và backoff.
• Thất bại nhanh trên lỗi 4xx.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apimigration.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Vấn đề Thanh toán và Xoay Khóa

API của chúng tôi sử dụng tín dụng trả trước bằng tiền điện tử. Tín dụng không hết hạn. Nếu bạn hết tín dụng, các yêu cầu sẽ thất bại. Hãy theo dõi số dư của bạn và nạp tiền trước khi nó về không.

Mỗi tài khoản có một khóa đang hoạt động. Việc tạo khóa mới sẽ vô hiệu hóa khóa cũ ngay lập tức. Đảm bảo triển khai của bạn cập nhật khóa một cách nguyên tử để tránh thời gian ngừng hoạt động.

• Theo dõi số dư tín dụng thường xuyên.
• Xoay khóa nguyên tử.
• Cập nhật tất cả các phiên bản đồng thời.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apimigration.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Tóm tắt các thực hành tốt nhất

Thành công của việc di chuyển phụ thuộc vào sự chú ý đến chi tiết. Xác minh URL cơ sở của bạn. Tôn trọng giới hạn ngữ cảnh. Xử lý streaming đúng cách. Quản lý giới hạn tốc độ. Xác thực JSON. Xử lý lỗi. Quản lý thanh toán và khóa. Làm theo các bước này đảm bảo quá trình chuyển đổi diễn ra suôn sẻ.

Kiểm tra kỹ tích hợp của bạn trước khi đưa lên sản xuất. Sử dụng số dư dùng thử để xác minh thiết lập của bạn. Điều này ngăn ngừa thời gian ngừng hoạt động tốn kém trong sản xuất.

• Xác minh URL cơ bản.
• Tôn trọng giới hạn ngữ cảnh.
• Xử lý streaming đúng cách.
• Quản lý giới hạn tốc độ.
• Xác thực JSON.
• Xử lý lỗi.
• Quản lý thanh toán và khóa.

Copycurl https://api.apimigration.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run the latest migration script for the user table"}]
  }'