Тестирование LLM-приложений в API Migration: практическое руководство
Тестирование миграции API для LLM-приложения отличается от тестирования обычного REST API, потому что один и тот же промпт никогда не возвращает одинаковый текст дважды. Вы проверяете свойства ответа, а не точные строки.
Последнее обновление

Итоги
- Создайте золотой набор из 50–200 реальных промптов с проверками по правилам, а не ожиданием точного совпадения.
- Зафиксируйте температуру и сид, чтобы уменьшить шум, но никогда не ожидайте идентичный текст.
- Запишите процентили задержки и стоимость за запрос на старом и новом маршруте.
- Запишите триггеры отката до начала развертывания.
Что вы на самом деле проверяете
С классическим API вы сравниваете ответы байт к байту. С языковой моделью это сразу ломается. Вместо этого решите, от каких свойств ответа зависит ваш продукт, и проверяйте их.
- Форма. Валидный JSON, обязательные ключи, вызов инструмента с правильными аргументами.
- Содержание. Упоминание обязательных фактов, соблюдение формата, сохранение персоны.
- Безопасность продукта. Отсутствие отказа там, где ожидается ответ, отсутствие утечки системного промпта.
- Эксплуатация. Задержка, частота ошибок, поведение лимита запросов, стоимость.
Если вам всё ещё нужны сами шаги переключения, план есть в руководстве по миграции на этом сайте, а ошибки, с которыми вы столкнетесь в процессе, описаны в разделе распространенные ошибки интеграции LLM. Эта статья посвящена проверке.
Создайте золотой набор промптов
Извлеките 50–200 реальных промптов из ваших журналов (сначала удалите личные данные). Охватите основной путь, неловкие случаи и случаи, которые ломались ранее. Сохраните каждый как запись с сообщениями, параметрами и проверками, которые он должен пройти.
{
"id": "invoice-json-03",
"messages": [
{"role": "system", "content": "Extract fields. Reply with JSON only."},
{"role": "user", "content": "Invoice 4471 from Acme, total 1,250 EUR, due 2025-03-01"}
],
"json": true,
"required_keys": ["number", "vendor", "total"],
"must_contain": ["4471"]
}
Помечайте случаи по риску: вызовы инструментов, длинный контекст, потоковая передача, неанглийский язык, очень короткие и очень длинные ответы. Когда позже в продакшене появится ошибка, добавьте её в набор. Набор превратится в ваш регрессионный набор тестов.
Напишите тестовый стенд, который записывает всё
Один скрипт должен запустить весь набор против маршрута, применить проверки и сохранить результаты. Используйте temperature=0 и фиксированный seed, чтобы уменьшить вариативность. Оба параметра передаются через это API, но относитесь к ним как к средству снижения шума, а не как к гарантии.
import json, time
from openai import OpenAI
client = OpenAI(base_url="https://api.apimigration.com/v1", api_key="YOUR_KEY")
PRICE_IN, PRICE_OUT = 0.15, 0.50 # USD per 1M tokens
def run(case):
t0 = time.perf_counter()
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=case["messages"],
temperature=0,
seed=42,
)
elapsed = time.perf_counter() - t0
resp = raw.parse()
text = resp.choices[0].message.content or ""
u = resp.usage
return {
"id": case["id"],
"text": text,
"seconds": elapsed,
"cost": (u.prompt_tokens * PRICE_IN + u.completion_tokens * PRICE_OUT) / 1e6,
"balance": raw.headers.get("X-Balance-USD"),
"request_id": raw.headers.get("X-Request-Id"),
}
Сохраняйте X-Request-Id для каждого неудачного случая. Это то, что вы указываете, когда спрашиваете поддержку о конкретном запросе.
Сравнивайте по правилам, а не по строкам
Примените проверки из каждой записи. Всё, что не прошло, попадает в короткий список для чтения человеком.
def check(case, text):
problems = []
if case.get("json"):
try:
obj = json.loads(text)
except ValueError:
return ["invalid json"]
for key in case.get("required_keys", []):
if key not in obj:
problems.append("missing key " + key)
for needle in case.get("must_contain", []):
if needle.lower() not in text.lower():
problems.append("missing text " + needle)
if len(text.strip()) < case.get("min_chars", 1):
problems.append("answer too short")
return problems
Для ответов в свободной форме добавьте недорогой диапазон длины (например, в пределах половины до двойного от старого ответа) и короткий список фраз отказа для пометки. Затем прочитайте 20 ответов рядом глазами. Правила ловят регрессии; чтение ловит тон. Делайте и то, и другое.
Для выходных данных JSON установите response_format в {"type":"json_object"} и всё равно проверяйте, поскольку проверки выше дёшевы.
Намеренно тестируйте пути ошибок
Промпты основного пути проходят почти на любом провайдере. Ошибки — это то, где миграции «бьют», поэтому провоцируйте их намеренно, прежде чем это сделают пользователи.
- Плохой ключ. Отправьте запрос с неверным ключом и убедитесь, что ваше приложение показывает разумное сообщение и не повторяет запрос в цикле.
- Лимиты запросов. Отправьте более 8 запросов одновременно на полный ключ (2 на пробном ключе) и убедитесь, что ваш код обрабатывает HTTP 429 с кодом
concurrency, а затем с кодомrate_limited, если вы превысите лимит в минуту. - Временная перегрузка. Ответ 429 с заголовком
Retry-After: 5должен привести к ожиданию в пять секунд, а не к немедленному агрессивному повторному запросу. - Слишком большой вход. Отправьте промпт, близкий к окну в 100 000 токенов, и один за его пределами. Ваше приложение должно обрезать или суммировать данные, а не падать.
- Большие тела запросов. Лимит — 8 МБ. Подтвердите, что вы сами отклоняете более крупные полезные нагрузки.
- Потерянные потоки. Прервите соединение в середине потока и убедитесь, что слот параллельности освободился.
У каждого из них должен быть автоматизированный тест, который запускается в CI против фейкового сервера, а также одна ручная проверка против реального.
Проверьте потоковую передачу и вызовы инструментов
Потоковая передача и инструменты меняют форму ответа, поэтому золотой набор, построенный на обычном тексте, их пропускает. Добавьте случай для каждого.
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up an order by id",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Where is order A-1042?"}],
tools=tools,
tool_choice="auto",
)
calls = r.choices[0].message.tool_calls or []
assert calls and calls[0].function.name == "get_order_status"
print(calls[0].function.arguments)
Проверка подтверждает наличие вызова и парсинг аргументов в ожидаемый JSON. Добавьте проверку, что второй ход с результатом в сообщении role: "tool" даёт нормальный ответ. Для потоков проверяйте получение чанков, появление финального использования и остановку чтения.
Отслеживайте задержку и стоимость для каждого маршрута
Запустите набор на старом и новом маршруте и сравните те же столбцы: медиану и 95-й процентиль секунд, количество ошибок, токены, стоимость. В этой статье нет чисел задержки для любого провайдера, потому что ваши будут зависеть от ваших промптов и сети. Измеряйте свои собственные показатели задержки.
Стоимость нового маршрута рассчитывается как количество токенов, умноженное на тарифы: $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов. Пример: 200 золотых промптов со средним объемом 1 200 входных и 300 выходных токенов.
- Вход: 240 000 токенов x $0,15 / 1 000 000 = $0,036.
- Результат: 60 000 токенов × $0,50 / 1 000 000 = $0,03.
- Один полный запуск: $0,066.
Пробный кредит в $0,50 покрывает около семи таких запусков. Пробный ключ позволяет выполнять 2 параллельных запроса и до 60 в минуту, поэтому 200 промптов займут не менее трех с половиной минут. Неудавшиеся или отклонённые запросы не оплачиваются. Вы также можете прочитать баланс из заголовка X-Balance-USD после каждого вызова, чтобы подтвердить правильность своих расчетов.
Теневой трафик и поэтапное внедрение
Как только золотой набор пройдет проверку, скопируйте живые запросы на новый маршрут, не показывая ответы. Запишите результаты и сравните их с живыми ответами с помощью тех же проверок. Теневые запуски требуют ограничения параллельности: полный ключ позволяет выполнять 8 запросов одновременно, поэтому ставьте зеркальные вызовы в очередь, а не отправляйте их все сразу.
Затем перемещайте реальных пользователей поэтапно, например, 5%, 25%, 50% и 100%. Удерживайте каждый шаг, пока частота ошибок, количество неудачных проверок и жалобы остаются стабильными.
Заранее определите правила отката
Запишите пороговые значения до перевода первого пользователя, чтобы решение в момент принятия было механическим.
| Сигнал | Пример срабатывания |
|---|---|
| Сбои проверок на живом трафике | Более установленной доли проверок правил не проходит |
| Частота HTTP 429 или 5xx | Длительное превышение базового уровня предыдущего маршрута |
| Задержка p95 | Превышение бюджета тайм-аута вашего продукта |
| Стоимость запроса | Превышение расчётной оценки на установленную величину |
| Жалобы пользователей | Группа жалоб об одном и том же поведении |
Откат — это изменение конфига, а не деплой. Держите старый маршрут оплаченным и настроенным несколько дней после перехода на 100%. Получите API-ключ, заберите пробный баланс, проверьте цены для больших объёмов, используйте документацию для деталей эндпоинтов.
Дополнительные руководства
Часто задаваемые вопросы
Сколько золотых промптов мне нужно?
Пятьдесят–двести реальных промптов покрывают большинство приложений. Качество важнее количества, поэтому включите сложные и ранее приводившие к ошибкам случаи.
Могу ли я сравнивать выходные данные с помощью точного сравнения?
Не всегда надёжно. Даже при температуре 0 и фиксированном сиде считайте выходные данные переменными и проверяйте такие правила, как валидность JSON, наличие обязательных фактов и соответствие длине.
Как отслеживать затраты во время тестирования?
Умножьте токены использования на $0,15 за 1M входных и $0,50 за 1M выходных данных, и следите за заголовком X-Balance-USD для получения фактического баланса.
Что должно стать причиной для отката?
Сначала определите пороги: количество неудачных проверок, частоту ошибок 429 или 5xx, задержку относительно вашего тайм-аута и стоимость относительно расчётной.
Получите API-ключ
Зарегистрируйтесь, скопируйте ключ, обновите базовый URL. Настройка завершена.