Стриминг: ответ по мере генерации
Стриминг ответа нейросети по SSE в формате OpenAI: как включить, как читать поток, где цена запроса и что будет при обрыве.
Обновлено:
С stream: true ответ приходит кусками по мере того, как модель пишет, — как в чате: первые слова видны сразу, не нужно ждать весь ответ. Длинные ответы со стримингом надёжнее — соединение не простаивает.
Формат
Ответ — Server-Sent Events (Content-Type: text/event-stream), как у OpenAI: строки data: {…} с кусками chat.completion.chunk, между ними пустая строка. Новый текст — в choices[0].delta.content.
- Последний кусок с данными несёт
usageс ценой в рублях —usage.cost_rub. Егоchoicesможет быть пустым массивом: не обращайся кchoices[0]без проверки. - Поток заканчивается строкой
data: [DONE]. - Строки, которые начинаются с двоеточия (
: keep-alive), служебные — пропускай их. stream_optionsпередавать не нужно:usageприходит всегда.- Заголовков
x-veselo-cost-rubиx-veselo-balance-rubу потока нет: когда он начинается, цена ещё неизвестна.x-request-idиx-ratelimit-*есть.
Поток
: keep-alive
data: {"id":"chatcmpl-req_5b2e…","object":"chat.completion.chunk","model":"deepseek/deepseek-v4.1-flash-ultrafast","choices":[{"index":0,"delta":{"role":"assistant","content":"Один"},"finish_reason":null}]}
data: {"id":"chatcmpl-req_5b2e…","object":"chat.completion.chunk","model":"deepseek/deepseek-v4.1-flash-ultrafast","choices":[{"index":0,"delta":{"content":", два, три"},"finish_reason":null}]}
data: {"id":"chatcmpl-req_5b2e…","object":"chat.completion.chunk","model":"deepseek/deepseek-v4.1-flash-ultrafast","choices":[{"index":0,"delta":{},"finish_reason":"stop"}]}
data: {"id":"chatcmpl-req_5b2e…","object":"chat.completion.chunk","model":"deepseek/deepseek-v4.1-flash-ultrafast","choices":[],"usage":{"prompt_tokens":16,"completion_tokens":9,"total_tokens":25,"cost_rub":0.01}}
data: [DONE]Примеры
curl
curl -N https://veselo.ai/v1/chat/completions \
-H "Authorization: Bearer $VESELO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "deepseek/deepseek-v4.1-flash-ultrafast",
"stream": true,
"max_tokens": 500,
"messages": [{"role": "user", "content": "Напиши короткое стихотворение про осень."}]
}'Python
import os
import openai
from openai import OpenAI
client = OpenAI(base_url="https://veselo.ai/v1", api_key=os.environ["VESELO_API_KEY"])
stream = client.chat.completions.create(
model="deepseek/deepseek-v4.1-flash-ultrafast",
messages=[{"role": "user", "content": "Напиши короткое стихотворение про осень."}],
max_tokens=500,
stream=True,
)
cost = None
try:
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
cost = chunk.usage.cost_rub
except openai.APIError as e: # ошибка посреди потока
print("\nПоток прервался:", e)
if cost is not None:
print(f"\nЦена: {cost} ₽")JavaScript
import OpenAI from 'openai';
const client = new OpenAI({ baseURL: 'https://veselo.ai/v1', apiKey: process.env.VESELO_API_KEY });
const stream = await client.chat.completions.create({
model: 'deepseek/deepseek-v4.1-flash-ultrafast',
messages: [{ role: 'user', content: 'Напиши короткое стихотворение про осень.' }],
max_tokens: 500,
stream: true,
});
let cost = null;
try {
for await (const chunk of stream) {
const text = chunk.choices[0]?.delta?.content;
if (text) process.stdout.write(text);
if (chunk.usage) cost = chunk.usage.cost_rub;
}
} catch (e) {
console.error('\nПоток прервался:', e.message); // ошибка посреди потока
}
if (cost !== null) console.log(`\nЦена: ${cost} ₽`);JavaScript без SDK
// Node 18+ или браузер: обычный fetch и разбор SSE
const res = await fetch('https://veselo.ai/v1/chat/completions', {
method: 'POST',
headers: { Authorization: `Bearer ${process.env.VESELO_API_KEY}`, 'Content-Type': 'application/json' },
body: JSON.stringify({
model: 'deepseek/deepseek-v4.1-flash-ultrafast',
stream: true,
max_tokens: 500,
messages: [{ role: 'user', content: 'Напиши короткое стихотворение про осень.' }],
}),
});
if (!res.ok) {
// ошибка до начала ответа — обычный JSON
const { error } = await res.json().catch(() => ({ error: { code: `http_${res.status}`, message: res.statusText } }));
throw new Error(`${res.status} ${error.code}: ${error.message}`);
}
const reader = res.body.getReader();
const decoder = new TextDecoder();
let buf = '';
let text = '';
let cost = null;
for (;;) {
const { value, done } = await reader.read();
if (done) break;
buf += decoder.decode(value, { stream: true });
let nl;
while ((nl = buf.indexOf('\n')) >= 0) {
const line = buf.slice(0, nl).trim();
buf = buf.slice(nl + 1);
if (!line.startsWith('data:')) continue; // пустые строки и «: keep-alive»
const data = line.slice(5).trim();
if (data === '[DONE]') continue;
const chunk = JSON.parse(data);
if (chunk.error) throw new Error(`${chunk.error.code}: ${chunk.error.message}`); // ошибка посреди потока
const piece = chunk.choices?.[0]?.delta?.content;
if (piece) text += piece;
if (chunk.usage) cost = chunk.usage.cost_rub;
}
}
console.log(text);
console.log('Цена:', cost, '₽');Ошибки в потоке
- Ошибка до начала ответа — нет ключа, денег, модели — приходит обычным JSON с кодом HTTP, как без стриминга.
- Ошибка посреди ответа приходит куском с полем
errorв том же формате, что ошибки, а за ним —data: [DONE]. SDK OpenAI в этом случае бросают исключениеAPIError. - Первый кусок ждём до 2 минут — дольше ответ придёт ошибкой 504
upstream_timeout. Если модель замолчала посреди ответа больше чем на 3 минуты, поток закрывается куском с ошибкойupstream_timeout.
Обрыв и деньги
Если программа закрыла соединение, запрос к модели прерывается, и списывается то, что модель успела сгенерировать: цена считается по длине запроса и полученного ответа. То же при обрыве со стороны модели. Цена такого запроса сразу видна в расходе — в GET /v1/usage и в кабинете.