POST Audio Transcriptions

Транскрибация аудио в текст (Speech-to-Text).

Доступные модели

Тарификация STT — посекундная (per_second), по длительности аудио.

Асинхронные модели

Эти модели работают иначе: запрос возвращает не текст, а id задачи, результат забирается опросом статуса. Подробности и примеры — в руководстве Aiesa Транскрипция. Тарификация — по целым минутам, минимум одна минута.

Параметры запроса

Допустимые response_format по моделям

• openai/whisper-1 → json, text, srt, verbose_json, vtt
• openai/gpt-4o-transcribe, openai/gpt-4o-mini-transcribe → json, text
• elevenlabs/speech-to-text → стандартный набор + diarized_json

Объект chunking_strategy типа server_vad

Либо строкой: "chunking_strategy": "auto".

Диаризация (gpt-4o-transcribe-diarize)

Модель gpt-4o-transcribe-diarize возвращает разбивку по спикерам. Используйте response_format: "diarized_json".

Опционально можно заранее «обучить» диаризатор на конкретные голоса:

• known_speaker_names — массив имён, до 4. Имена используются как метки спикеров.
• known_speaker_references — массив data-URL с короткими аудио-примерами тех же спикеров.

Поддерживаемые форматы файлов

MP3, WAV, M4A, FLAC, OGG, WebM.

Примеры

curl -X POST "https://api.usellm.ru/v1/audio/transcriptions" \
  -H "Authorization: Bearer <USELLM_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/whisper-1",
    "file": "BASE64_ENCODED_AUDIO",
    "language": "ru"
  }'

import requests
import base64

with open('audio.mp3', 'rb') as f:
    audio_base64 = base64.b64encode(f.read()).decode('utf-8')

response = requests.post(
    'https://api.usellm.ru/v1/audio/transcriptions',
    headers={'Authorization': 'Bearer <USELLM_API_KEY>'},
    json={
        'model': 'openai/whisper-1',
        'file': audio_base64,
        'language': 'ru'
    }
)

data = response.json()
print(data['text'])

const fs = require('fs');

const audioFile = fs.readFileSync('audio.mp3');
const audioBase64 = audioFile.toString('base64');

const response = await fetch('https://api.usellm.ru/v1/audio/transcriptions', {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <USELLM_API_KEY>',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({
    model: 'openai/whisper-1',
    file: audioBase64,
    language: 'ru'
  })
});

const data = await response.json();
console.log(data.text);

Пример с диаризацией

curl -X POST "https://api.usellm.ru/v1/audio/transcriptions" \
  -H "Authorization: Bearer <USELLM_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "file": "BASE64_ENCODED_AUDIO",
    "response_format": "diarized_json",
    "chunking_strategy": "auto",
    "known_speaker_names": ["agent", "client"]
  }'

Ответ (200)

response_format: json (по умолчанию)

{
  "text": "Привет! Это тестовое сообщение.",
  "language": "ru",
  "duration": 10.5,
  "model": "openai/whisper-1",
  "usage": { "durationSeconds": 10.5, "cost": 0.11, "cost_rub": 0.11 }
}

response_format: verbose_json (только whisper-1)

{
  "text": "Привет, мир!",
  "language": "ru",
  "duration": 5.5,
  "model": "openai/whisper-1",
  "segments": [
    {
      "id": 0,
      "seek": 0,
      "start": 0.0,
      "end": 5.5,
      "text": "Привет, мир!",
      "tokens": [1, 2, 3],
      "temperature": 0,
      "avg_logprob": -0.5,
      "compression_ratio": 1.2,
      "no_speech_prob": 0.01
    }
  ],
  "words": [
    { "word": "Привет", "start": 0.0, "end": 0.5 }
  ],
  "usage": { "durationSeconds": 5.5, "cost": 0.06, "cost_rub": 0.06 }
}

Поле words появляется, только если указан timestamp_granularities: ["word"].

response_format: diarized_json (gpt-4o-transcribe-diarize)

{
  "task": "transcribe",
  "duration": 27.4,
  "text": "agent: Привет!\nclient: Здравствуйте!",
  "segments": [
    {
      "id": "seg_001",
      "start": 0.0,
      "end": 4.7,
      "text": "Привет, как дела?",
      "speaker": "agent",
      "type": "transcript.text.segment"
    }
  ],
  "model": "gpt-4o-transcribe-diarize",
  "usage": { "durationSeconds": 27, "cost": 0.27, "cost_rub": 0.27 }
}

response_format: text / srt / vtt

Поле text содержит результат — plain text либо готовые субтитры в формате SRT/VTT. Поля segments/words отсутствуют.

Поля ответа

Ответ асинхронных моделей (aiesa/*)

Асинхронные модели вместо текста возвращают идентификатор задачи:

{
  "id": "gen_1234567890123456789",
  "object": "transcription",
  "status": "processing",
  "model": "aiesa/transcribe"
}

Результат забирается опросом:

curl "https://api.usellm.ru/v1/audio/transcriptions/gen_1234567890123456789" \
  -H "Authorization: Bearer <USELLM_API_KEY>"

{
  "id": "gen_1234567890123456789",
  "object": "transcription",
  "status": "completed",
  "text": "Добрый день, начнём совещание. Да, все на связи.",
  "duration": 15,
  "segments": [
    {
      "speaker": "SPEAKER_01",
      "text": "Добрый день, начнём совещание.",
      "start": 0,
      "end": 7,
      "startTime": "00:00:00",
      "endTime": "00:00:07"
    }
  ]
}