Shared Inference

LLM Gateway

Единый прокси для Claude, GPT и Gemini. Сервис отдаёт streaming chat, sync completion, транскрибацию аудио и калькуляцию стоимости.

JWT

Ожидание

Models

0

Endpoints

4

Mode

Service Layer

Модели и стоимость

Контракт

POST /api/chat/stream

SSE-поток для чатов и SEO-модулей.

POST /api/chat/complete

Синхронный completion через тот же gateway.

POST /api/transcribe

Whisper / GPT-4o-transcribe с fallback-маршрутом.

POST /api/cost/calculate

Расчёт стоимости по токенам и cached input.