Эмбеддинги по API за рубли
Эмбеддинги текста по API: векторы для поиска по смыслу и RAG, до 96 строк за запрос, input_type для документов и вопросов, цена в рублях.
Обновлено:
Эмбеддинг — вектор из чисел, который передаёт смысл текста: у похожих по смыслу текстов векторы близки. На них строят поиск по смыслу, ответы по своей базе знаний (RAG), рекомендации и группировку текстов. Отправь строки в POST https://veselo.ai/v1/embeddings — формат как у embeddings.create в OpenAI.
Модели и цены
| id | Модель | Цена |
|---|---|---|
cohere/embed-v4.0 | Cohere Embed v4 | 12,71 ₽ за 1 млн токенов |
cohere/embed-multilingual-v3.0 | Cohere Embed Multilingual v3 | 10,60 ₽ за 1 млн токенов |
cohere/embed-english-v3.0 | Cohere Embed English v3 | 10,60 ₽ за 1 млн токенов |
В GET /v1/models — записи с type: "embedding". Цена — за 1 млн токенов всех строк запроса, pricing_rub.input_per_1m. В поле embedding: длина вектора (dimensions), сколько строк за запрос (max_inputs), сколько токенов в строке (context_length) и какие бывают input_types.
Получить векторы
curl
curl https://veselo.ai/v1/embeddings \
-H "Authorization: Bearer $VESELO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "cohere/embed-v4.0",
"input": ["Кошки спят до 16 часов в сутки.", "Эльбрус — самая высокая гора России."],
"input_type": "search_document"
}'Python
import os
from openai import OpenAI # pip install openai
client = OpenAI(base_url="https://veselo.ai/v1", api_key=os.environ["VESELO_API_KEY"])
r = client.embeddings.create(
model="cohere/embed-v4.0",
input=["Кошки спят до 16 часов в сутки.", "Эльбрус — самая высокая гора России."],
extra_body={"input_type": "search_document"},
)
print(len(r.data), "вектора по", len(r.data[0].embedding), "чисел")
print("Цена:", r.model_dump()["usage"]["cost_rub"], "₽")JavaScript
import OpenAI from 'openai'; // npm i openai
const client = new OpenAI({ baseURL: 'https://veselo.ai/v1', apiKey: process.env.VESELO_API_KEY });
const r = await client.embeddings.create({
model: 'cohere/embed-v4.0',
input: ['Кошки спят до 16 часов в сутки.', 'Эльбрус — самая высокая гора России.'],
input_type: 'search_document',
});
console.log(r.data.length, r.data[0].embedding.length, r.usage.cost_rub, '₽');Ответ
{
"object": "list",
"data": [
{ "object": "embedding", "index": 0, "embedding": [0.0123, -0.0456, …] },
{ "object": "embedding", "index": 1, "embedding": [-0.0789, 0.0012, …] }
],
"model": "cohere/embed-v4.0",
"usage": { "prompt_tokens": 22, "total_tokens": 22, "cost_rub": 0.01 }
}Векторы — в data[].embedding, по порядку строк запроса (index). Цена — в usage.cost_rub и заголовке x-veselo-cost-rub. SDK OpenAI сам просит векторы в base64 и раскодирует их — так быстрее; результат тот же.
Поля запроса
| Поле | Что передать |
|---|---|
model | обязательно: id модели с type: "embedding" |
input | обязательно: строка или массив строк — от 1 до 96 за запрос, каждая непустая. Токены числами не принимаются |
input_type | для чего текст: search_document (по умолчанию) — тексты базы, search_query — вопросы к ней, classification, clustering. В SDK OpenAI для Python — через extra_body |
encoding_format | float (по умолчанию) — массив чисел или base64 — те же числа float32 одной строкой, как у OpenAI |
dimensions | длина вектора у модели не меняется: можно передать только embedding.dimensions, другое число — 400 |
user | принимается и никуда не уходит |
Другие поля — 400 с именем поля в param.
Поиск по смыслу
Тексты базы получают векторы с input_type: "search_document" — один раз, храни их у себя. Вопрос — с search_query. Ближайший по смыслу текст — тот, у чьего вектора больше косинусная близость с вектором вопроса.
Python
import math
import os
from openai import OpenAI
client = OpenAI(base_url="https://veselo.ai/v1", api_key=os.environ["VESELO_API_KEY"])
docs = ["Кошки спят до 16 часов в сутки.", "Эльбрус — самая высокая гора России.", "Чайник от накипи чистят лимонной кислотой."]
def embed(texts, kind):
r = client.embeddings.create(model="cohere/embed-v4.0", input=texts, extra_body={"input_type": kind})
return [d.embedding for d in r.data]
def cos(a, b):
return sum(x * y for x, y in zip(a, b)) / (math.sqrt(sum(x * x for x in a)) * math.sqrt(sum(y * y for y in b)))
base = embed(docs, "search_document") # векторы базы — один раз, храни их у себя
q = embed(["Сколько спят коты?"], "search_query")[0]
print(max(zip(docs, base), key=lambda d: cos(q, d[1]))[0])Нашёл кандидатов — расставь их по смыслу вопроса переранжированием: это точнее, чем одно сравнение векторов.
Деньги и лимиты
- Удерживается оценка — примерно токен на каждые 2 знака строк. Списывается — по
usage.prompt_tokensиз ответа, а если модель не назвала число — по оценке. Ошибка — 0 ₽. - До 96 строк за запрос, тело — до 25 МБ, ответ модели — до 2 минут. Общие лимиты ключа — 60 запросов в минуту и 10 одновременных.
- Ошибки: 400 — поле не прошло проверку (
param), 402 — не хватает на удержание, 404 — нет модели, 413 — тело больше 25 МБ, 429 — подождиRetry-After, 502, 503 (сalternatives) и 504 — повтори позже или возьми другую модель.