12.10.2026 11:12:40
Решил оценить сервис не по рекламным обещаниям, а по конкретным техническим параметрам. Интересовали качество ответов, совместимость с Claude Code, работа с контекстом, кэширование и реальная стоимость запросов.
1. Качество генерации и работа с кодом
В демонстрационном сценарии предусмотрено 150 запросов: генерация Python и TypeScript, рефакторинг, поиск логических ошибок, обработка JSON, написание SQL-запросов и анализ существующего проекта.
Пример целевых результатов:
150 запросов, 147 успешных API-вызовов.
28 из 30 задач на программирование прошли автоматические тесты.
Корректная обработка структурированных JSON-ответов.
Поддержка потоковой генерации и многошаговых задач.
2. Работа с контекстом
Отдельная серия тестов рассчитана на обработку больших файлов и длинных диалогов. Проверяются сохранение системных инструкций, поиск информации в документации и корректность ответов после нескольких десятков сообщений.
3. Prompt caching и экономия
Для примера берём 100 запросов с повторяющимся контекстом в 50 000 токенов.
Без кэширования это 5 млн входных токенов. Если 99 повторных запросов обслуживаются из кэша, количество повторно обрабатываемых токенов существенно снижается.
При условных тарифах $3 за миллион обычных входных токенов, $3,75 за миллион токенов записи кэша и $0,30 за миллион токенов чтения:
Без кэширования: $15.
С кэшированием: около $1,82.
Экономия: примерно 87,9% на входном контексте.
Важно: это расчётный пример, не подтверждённая статистика TKBK. Выходные токены и дополнительные расходы здесь не учитываются.
4. Claude Code и совместимость
Для технической проверки предусмотрены изменение нескольких файлов, анализ репозитория, исправление ошибок, работа с инструментами и длительные агентные сессии.
5. Скорость и стабильность
Пример критериев успешного прохождения нагрузочного теста: не менее 99% успешных запросов, отсутствие повреждённых JSON-ответов, корректное завершение потоковых запросов и стабильное выполнение повторных задач.
Итог
Главное преимущество, которое имеет смысл проверить у такого API, — сочетание стоимости, совместимости с инструментами разработки и эффективности кэширования.
По-настоящему убедительный результат — когда поставщик показывает не только низкую цену, но и фактические логи токенов, воспроизводимые тесты и подтверждение используемых моделей.