Передача медиа на вход

Как передавать изображения, документы, аудио и видео в запросах к AI моделям

Передача медиа на вход

В этом гайде вы узнаете, как передавать различные типы медиафайлов в запросах к AI моделям.

Поддержка медиа зависит от выбранной модели. Проверяйте поле input_modalities модели в каталоге моделей.

Поддерживаемые типы файлов

Тип	Форматы
Изображения	PNG, JPEG, GIF, WebP
Документы	PDF, DOCX, TXT
Аудио	MP3, WAV, FLAC, M4A
Видео	MP4, MOV, WebM

Способы передачи

1. URL файла

Самый простой способ - передать публичный URL файла:

curl -X POST "https://api.usellm.ru/v1/chat/completions" \
  -H "Authorization: Bearer <USELLM_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-6-astra",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "Что изображено на этой картинке?"},
          {"type": "image_url", "image_url": {"url": "https://example.com/image.jpg"}}
        ]
      }
    ]
  }'

const completion = await openai.chat.completions.create({
  model: 'openai/gpt-6-astra',
  messages: [
    {
      role: 'user',
      content: [
        { type: 'text', text: 'Что изображено на этой картинке?' },
        { type: 'image_url', image_url: { url: 'https://example.com/image.jpg' } }
      ]
    }
  ]
})

completion = client.chat.completions.create(
    model="openai/gpt-6-astra",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Что изображено на этой картинке?"},
                {"type": "image_url", "image_url": {"url": "https://example.com/image.jpg"}}
            ]
        }
    ]
)

2. Base64

Для локальных файлов используйте кодировку Base64:

curl -X POST "https://api.usellm.ru/v1/chat/completions" \
  -H "Authorization: Bearer <USELLM_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-6-astra",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "Опиши это изображение"},
          {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64,<BASE64>"}}
        ]
      }
    ]
  }'

import * as fs from 'node:fs'

const imageBuffer = fs.readFileSync('local-image.jpg')
const base64Image = imageBuffer.toString('base64')

const completion = await openai.chat.completions.create({
  model: 'openai/gpt-6-astra',
  messages: [
    {
      role: 'user',
      content: [
        { type: 'text', text: 'Опиши это изображение' },
        {
          type: 'image_url',
          image_url: { url: `data:image/jpeg;base64,${base64Image}` }
        }
      ]
    }
  ]
})

import base64

with open("local-image.jpg", "rb") as image_file:
    base64_image = base64.standard_b64encode(image_file.read()).decode("utf-8")

completion = client.chat.completions.create(
    model="openai/gpt-6-astra",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Опиши это изображение"},
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/jpeg;base64,{base64_image}"}
                }
            ]
        }
    ]
)

Изображения

Поддерживаемые форматы

Формат	MIME-тип	Примечание
PNG	image/png	Рекомендуется для скриншотов
JPEG	image/jpeg	Рекомендуется для фотографий
GIF	image/gif	Только первый кадр
WebP	image/webp	Современный формат

Уровень детализации

Параметр detail управляет качеством обработки изображения и влияет на стоимость:

Значение	Описание
`auto`	Автоматический выбор (по умолчанию)
`low`	Низкое качество: быстрее и дешевле
`high`	Высокое качество: точнее, но дороже

{
  "type": "image_url",
  "image_url": {
    "url": "https://example.com/image.jpg",
    "detail": "high"
  }
}

Несколько изображений

curl -X POST "https://api.usellm.ru/v1/chat/completions" \
  -H "Authorization: Bearer <USELLM_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-6-astra",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "Сравни эти два изображения"},
          {"type": "image_url", "image_url": {"url": "https://example.com/image1.jpg"}},
          {"type": "image_url", "image_url": {"url": "https://example.com/image2.jpg"}}
        ]
      }
    ]
  }'

const completion = await openai.chat.completions.create({
  model: 'openai/gpt-6-astra',
  messages: [
    {
      role: 'user',
      content: [
        { type: 'text', text: 'Сравни эти два изображения' },
        { type: 'image_url', image_url: { url: 'https://example.com/image1.jpg' } },
        { type: 'image_url', image_url: { url: 'https://example.com/image2.jpg' } }
      ]
    }
  ]
})

completion = client.chat.completions.create(
    model="openai/gpt-6-astra",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Сравни эти два изображения"},
                {"type": "image_url", "image_url": {"url": "https://example.com/image1.jpg"}},
                {"type": "image_url", "image_url": {"url": "https://example.com/image2.jpg"}}
            ]
        }
    ]
)

Документы

Документы на вход поддерживают немногие модели. Проверяйте поле input_modalities модели в каталоге моделей.

Для передачи документов (PDF, DOCX, TXT) используйте тип file:

curl -X POST "https://api.usellm.ru/v1/chat/completions" \
  -H "Authorization: Bearer <USELLM_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-6-astra",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "Кратко перескажи содержание документа"},
          {"type": "file", "file": {"filename": "report.pdf", "file_data": "data:application/pdf;base64,<BASE64>"}}
        ]
      }
    ]
  }'

import * as fs from 'node:fs'

const pdfBuffer = fs.readFileSync('report.pdf')
const base64Pdf = pdfBuffer.toString('base64')

const completion = await openai.chat.completions.create({
  model: 'openai/gpt-6-astra',
  messages: [
    {
      role: 'user',
      content: [
        { type: 'text', text: 'Кратко перескажи содержание документа' },
        {
          type: 'file',
          file: {
            filename: 'report.pdf',
            file_data: `data:application/pdf;base64,${base64Pdf}`
          }
        }
      ]
    }
  ]
})

import base64

with open("report.pdf", "rb") as f:
    base64_pdf = base64.standard_b64encode(f.read()).decode("utf-8")

completion = client.chat.completions.create(
    model="openai/gpt-6-astra",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Кратко перескажи содержание документа"},
                {
                    "type": "file",
                    "file": {
                        "filename": "report.pdf",
                        "file_data": f"data:application/pdf;base64,{base64_pdf}"
                    }
                }
            ]
        }
    ]
)

Поддерживаемые форматы

Формат	MIME-тип
PDF	application/pdf
DOCX	application/vnd.openxmlformats-officedocument.wordprocessingml.document
TXT	text/plain

Аудио

Для передачи аудио на вход используйте тип input_audio. Аудио передаётся в формате base64:

curl -X POST "https://api.usellm.ru/v1/chat/completions" \
  -H "Authorization: Bearer <USELLM_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-6-astra",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "Что говорит человек на этой записи?"},
          {"type": "input_audio", "input_audio": {"data": "<BASE64>", "format": "wav"}}
        ]
      }
    ]
  }'

import * as fs from 'node:fs'

const audioBuffer = fs.readFileSync('recording.wav')
const base64Audio = audioBuffer.toString('base64')

const completion = await openai.chat.completions.create({
  model: 'openai/gpt-6-astra',
  messages: [
    {
      role: 'user',
      content: [
        { type: 'text', text: 'Что говорит человек на этой записи?' },
        {
          type: 'input_audio',
          input_audio: {
            data: base64Audio,
            format: 'wav'
          }
        }
      ]
    }
  ]
})

import base64

with open("recording.wav", "rb") as f:
    base64_audio = base64.standard_b64encode(f.read()).decode("utf-8")

completion = client.chat.completions.create(
    model="openai/gpt-6-astra",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Что говорит человек на этой записи?"},
                {
                    "type": "input_audio",
                    "input_audio": {
                        "data": base64_audio,
                        "format": "wav"
                    }
                }
            ]
        }
    ]
)

Поддерживаемые форматы аудио

Формат	Значение `format`
WAV	`wav`
MP3	`mp3`
FLAC	`flac`
M4A	`m4a`

Видео

Видео через video_url поддерживается только моделями Gemini. В качестве ссылок принимаются только URL YouTube.

Для передачи видео используйте тип video_url:

curl -X POST "https://api.usellm.ru/v1/chat/completions" \
  -H "Authorization: Bearer <USELLM_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "google/gemini-3.8-flash",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "Опиши что происходит в этом видео"},
          {"type": "video_url", "video_url": {"url": "https://www.youtube.com/watch?v=dQw4w9WgXcQ"}}
        ]
      }
    ]
  }'

const completion = await openai.chat.completions.create({
  model: 'google/gemini-3.8-flash',
  messages: [
    {
      role: 'user',
      content: [
        { type: 'text', text: 'Опиши что происходит в этом видео' },
        {
          type: 'video_url',
          video_url: { url: 'https://www.youtube.com/watch?v=dQw4w9WgXcQ' }
        }
      ]
    }
  ]
})

completion = client.chat.completions.create(
    model="google/gemini-3.8-flash",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Опиши что происходит в этом видео"},
                {
                    "type": "video_url",
                    "video_url": {"url": "https://www.youtube.com/watch?v=dQw4w9WgXcQ"}
                }
            ]
        }
    ]
)

Советы и лучшие практики

Оптимизируйте размер изображений

Используйте правильный формат

Проверяйте поддержку модели

Не все модели поддерживают все типы медиа. Проверяйте поле input_modalities в ответе /v1/models:

curl https://api.usellm.ru/v1/models | jq '.data[] | select(.architecture.input_modalities | contains(["image"]))'

Добавляйте контекст в промпте

Следующие шаги

Каталог моделей

Модели с поддержкой медиа

Текстовые запросы

Основы работы с Chat Completions API