Весело
Весело

Стриминг: ответ по мере генерации

Стриминг ответа нейросети по SSE в формате OpenAI: как включить, как читать поток, где цена запроса и что будет при обрыве.

Обновлено:

С stream: true ответ приходит кусками по мере того, как модель пишет, — как в чате: первые слова видны сразу, не нужно ждать весь ответ. Длинные ответы со стримингом надёжнее — соединение не простаивает.

Формат

Ответ — Server-Sent Events (Content-Type: text/event-stream), как у OpenAI: строки data: {…} с кусками chat.completion.chunk, между ними пустая строка. Новый текст — в choices[0].delta.content.

  • Последний кусок с данными несёт usage с ценой в рублях — usage.cost_rub. Его choices может быть пустым массивом: не обращайся к choices[0] без проверки.
  • Поток заканчивается строкой data: [DONE].
  • Строки, которые начинаются с двоеточия (: keep-alive), служебные — пропускай их.
  • stream_options передавать не нужно: usage приходит всегда.
  • Заголовков x-veselo-cost-rub и x-veselo-balance-rub у потока нет: когда он начинается, цена ещё неизвестна. x-request-id и x-ratelimit-* есть.

Поток

: keep-alive

data: {"id":"chatcmpl-req_5b2e…","object":"chat.completion.chunk","model":"deepseek/deepseek-v4.1-flash-ultrafast","choices":[{"index":0,"delta":{"role":"assistant","content":"Один"},"finish_reason":null}]}

data: {"id":"chatcmpl-req_5b2e…","object":"chat.completion.chunk","model":"deepseek/deepseek-v4.1-flash-ultrafast","choices":[{"index":0,"delta":{"content":", два, три"},"finish_reason":null}]}

data: {"id":"chatcmpl-req_5b2e…","object":"chat.completion.chunk","model":"deepseek/deepseek-v4.1-flash-ultrafast","choices":[{"index":0,"delta":{},"finish_reason":"stop"}]}

data: {"id":"chatcmpl-req_5b2e…","object":"chat.completion.chunk","model":"deepseek/deepseek-v4.1-flash-ultrafast","choices":[],"usage":{"prompt_tokens":16,"completion_tokens":9,"total_tokens":25,"cost_rub":0.01}}

data: [DONE]

Примеры

curl

curl -N https://veselo.ai/v1/chat/completions \
  -H "Authorization: Bearer $VESELO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek/deepseek-v4.1-flash-ultrafast",
    "stream": true,
    "max_tokens": 500,
    "messages": [{"role": "user", "content": "Напиши короткое стихотворение про осень."}]
  }'

Python

import os
import openai
from openai import OpenAI

client = OpenAI(base_url="https://veselo.ai/v1", api_key=os.environ["VESELO_API_KEY"])

stream = client.chat.completions.create(
    model="deepseek/deepseek-v4.1-flash-ultrafast",
    messages=[{"role": "user", "content": "Напиши короткое стихотворение про осень."}],
    max_tokens=500,
    stream=True,
)
cost = None
try:
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            print(chunk.choices[0].delta.content, end="", flush=True)
        if chunk.usage:
            cost = chunk.usage.cost_rub
except openai.APIError as e:  # ошибка посреди потока
    print("\nПоток прервался:", e)
if cost is not None:
    print(f"\nЦена: {cost} ₽")

JavaScript

import OpenAI from 'openai';

const client = new OpenAI({ baseURL: 'https://veselo.ai/v1', apiKey: process.env.VESELO_API_KEY });

const stream = await client.chat.completions.create({
  model: 'deepseek/deepseek-v4.1-flash-ultrafast',
  messages: [{ role: 'user', content: 'Напиши короткое стихотворение про осень.' }],
  max_tokens: 500,
  stream: true,
});
let cost = null;
try {
  for await (const chunk of stream) {
    const text = chunk.choices[0]?.delta?.content;
    if (text) process.stdout.write(text);
    if (chunk.usage) cost = chunk.usage.cost_rub;
  }
} catch (e) {
  console.error('\nПоток прервался:', e.message); // ошибка посреди потока
}
if (cost !== null) console.log(`\nЦена: ${cost} ₽`);

JavaScript без SDK

// Node 18+ или браузер: обычный fetch и разбор SSE
const res = await fetch('https://veselo.ai/v1/chat/completions', {
  method: 'POST',
  headers: { Authorization: `Bearer ${process.env.VESELO_API_KEY}`, 'Content-Type': 'application/json' },
  body: JSON.stringify({
    model: 'deepseek/deepseek-v4.1-flash-ultrafast',
    stream: true,
    max_tokens: 500,
    messages: [{ role: 'user', content: 'Напиши короткое стихотворение про осень.' }],
  }),
});
if (!res.ok) {
  // ошибка до начала ответа — обычный JSON
  const { error } = await res.json().catch(() => ({ error: { code: `http_${res.status}`, message: res.statusText } }));
  throw new Error(`${res.status} ${error.code}: ${error.message}`);
}

const reader = res.body.getReader();
const decoder = new TextDecoder();
let buf = '';
let text = '';
let cost = null;
for (;;) {
  const { value, done } = await reader.read();
  if (done) break;
  buf += decoder.decode(value, { stream: true });
  let nl;
  while ((nl = buf.indexOf('\n')) >= 0) {
    const line = buf.slice(0, nl).trim();
    buf = buf.slice(nl + 1);
    if (!line.startsWith('data:')) continue; // пустые строки и «: keep-alive»
    const data = line.slice(5).trim();
    if (data === '[DONE]') continue;
    const chunk = JSON.parse(data);
    if (chunk.error) throw new Error(`${chunk.error.code}: ${chunk.error.message}`); // ошибка посреди потока
    const piece = chunk.choices?.[0]?.delta?.content;
    if (piece) text += piece;
    if (chunk.usage) cost = chunk.usage.cost_rub;
  }
}
console.log(text);
console.log('Цена:', cost, '₽');

Ошибки в потоке

  • Ошибка до начала ответа — нет ключа, денег, модели — приходит обычным JSON с кодом HTTP, как без стриминга.
  • Ошибка посреди ответа приходит куском с полем error в том же формате, что ошибки, а за ним — data: [DONE]. SDK OpenAI в этом случае бросают исключение APIError.
  • Первый кусок ждём до 2 минут — дольше ответ придёт ошибкой 504 upstream_timeout. Если модель замолчала посреди ответа больше чем на 3 минуты, поток закрывается куском с ошибкой upstream_timeout.

Обрыв и деньги

Если программа закрыла соединение, запрос к модели прерывается, и списывается то, что модель успела сгенерировать: цена считается по длине запроса и полученного ответа. То же при обрыве со стороны модели. Цена такого запроса сразу видна в расходе — в GET /v1/usage и в кабинете.

← Сообщения и параметры · Вызов функций →

Вся документация одним текстом · Все модели и цены