Весело
Весело

Эмбеддинги по API за рубли

Эмбеддинги текста по API: векторы для поиска по смыслу и RAG, до 96 строк за запрос, input_type для документов и вопросов, цена в рублях.

Обновлено:

Эмбеддинг — вектор из чисел, который передаёт смысл текста: у похожих по смыслу текстов векторы близки. На них строят поиск по смыслу, ответы по своей базе знаний (RAG), рекомендации и группировку текстов. Отправь строки в POST https://veselo.ai/v1/embeddings — формат как у embeddings.create в OpenAI.

Модели и цены

Эмбеддинги и цена за 1 млн токенов — в рублях
idМодельЦена
cohere/embed-v4.0Cohere Embed v412,71 ₽ за 1 млн токенов
cohere/embed-multilingual-v3.0Cohere Embed Multilingual v310,60 ₽ за 1 млн токенов
cohere/embed-english-v3.0Cohere Embed English v310,60 ₽ за 1 млн токенов

В GET /v1/models — записи с type: "embedding". Цена — за 1 млн токенов всех строк запроса, pricing_rub.input_per_1m. В поле embedding: длина вектора (dimensions), сколько строк за запрос (max_inputs), сколько токенов в строке (context_length) и какие бывают input_types.

Получить векторы

curl

curl https://veselo.ai/v1/embeddings \
  -H "Authorization: Bearer $VESELO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "cohere/embed-v4.0",
    "input": ["Кошки спят до 16 часов в сутки.", "Эльбрус — самая высокая гора России."],
    "input_type": "search_document"
  }'

Python

import os
from openai import OpenAI  # pip install openai

client = OpenAI(base_url="https://veselo.ai/v1", api_key=os.environ["VESELO_API_KEY"])
r = client.embeddings.create(
    model="cohere/embed-v4.0",
    input=["Кошки спят до 16 часов в сутки.", "Эльбрус — самая высокая гора России."],
    extra_body={"input_type": "search_document"},
)
print(len(r.data), "вектора по", len(r.data[0].embedding), "чисел")
print("Цена:", r.model_dump()["usage"]["cost_rub"], "₽")

JavaScript

import OpenAI from 'openai'; // npm i openai

const client = new OpenAI({ baseURL: 'https://veselo.ai/v1', apiKey: process.env.VESELO_API_KEY });
const r = await client.embeddings.create({
  model: 'cohere/embed-v4.0',
  input: ['Кошки спят до 16 часов в сутки.', 'Эльбрус — самая высокая гора России.'],
  input_type: 'search_document',
});
console.log(r.data.length, r.data[0].embedding.length, r.usage.cost_rub, '₽');

Ответ

{
  "object": "list",
  "data": [
    { "object": "embedding", "index": 0, "embedding": [0.0123, -0.0456, …] },
    { "object": "embedding", "index": 1, "embedding": [-0.0789, 0.0012, …] }
  ],
  "model": "cohere/embed-v4.0",
  "usage": { "prompt_tokens": 22, "total_tokens": 22, "cost_rub": 0.01 }
}

Векторы — в data[].embedding, по порядку строк запроса (index). Цена — в usage.cost_rub и заголовке x-veselo-cost-rub. SDK OpenAI сам просит векторы в base64 и раскодирует их — так быстрее; результат тот же.

Поля запроса

ПолеЧто передать
modelобязательно: id модели с type: "embedding"
inputобязательно: строка или массив строк — от 1 до 96 за запрос, каждая непустая. Токены числами не принимаются
input_typeдля чего текст: search_document (по умолчанию) — тексты базы, search_query — вопросы к ней, classification, clustering. В SDK OpenAI для Python — через extra_body
encoding_formatfloat (по умолчанию) — массив чисел или base64 — те же числа float32 одной строкой, как у OpenAI
dimensionsдлина вектора у модели не меняется: можно передать только embedding.dimensions, другое число — 400
userпринимается и никуда не уходит

Другие поля — 400 с именем поля в param.

Тексты базы получают векторы с input_type: "search_document" — один раз, храни их у себя. Вопрос — с search_query. Ближайший по смыслу текст — тот, у чьего вектора больше косинусная близость с вектором вопроса.

Python

import math
import os
from openai import OpenAI

client = OpenAI(base_url="https://veselo.ai/v1", api_key=os.environ["VESELO_API_KEY"])
docs = ["Кошки спят до 16 часов в сутки.", "Эльбрус — самая высокая гора России.", "Чайник от накипи чистят лимонной кислотой."]


def embed(texts, kind):
    r = client.embeddings.create(model="cohere/embed-v4.0", input=texts, extra_body={"input_type": kind})
    return [d.embedding for d in r.data]


def cos(a, b):
    return sum(x * y for x, y in zip(a, b)) / (math.sqrt(sum(x * x for x in a)) * math.sqrt(sum(y * y for y in b)))


base = embed(docs, "search_document")  # векторы базы — один раз, храни их у себя
q = embed(["Сколько спят коты?"], "search_query")[0]
print(max(zip(docs, base), key=lambda d: cos(q, d[1]))[0])

Нашёл кандидатов — расставь их по смыслу вопроса переранжированием: это точнее, чем одно сравнение векторов.

Деньги и лимиты

  • Удерживается оценка — примерно токен на каждые 2 знака строк. Списывается — по usage.prompt_tokens из ответа, а если модель не назвала число — по оценке. Ошибка — 0 ₽.
  • До 96 строк за запрос, тело — до 25 МБ, ответ модели — до 2 минут. Общие лимиты ключа — 60 запросов в минуту и 10 одновременных.
  • Ошибки: 400 — поле не прошло проверку (param), 402 — не хватает на удержание, 404 — нет модели, 413 — тело больше 25 МБ, 429 — подожди Retry-After, 502, 503 (с alternatives) и 504 — повтори позже или возьми другую модель.

← Распознавание речи · Переранжирование →

Вся документация одним текстом · Все модели и цены