Весело
Весело

Картинки во входе

Как отправить фото или скриншот нейросети по API: ссылкой или в base64, какие модели понимают изображения и как считается цена.

Обновлено:

Некоторые модели читают картинки: описывают фото, достают текст со скриншота, разбирают графики. Это модели, у которых в input_modalities есть image. У deepseek/deepseek-v4.1-flash-ultrafast картинок на входе нет, поэтому в примерах ниже — z-ai/glm-4v-plus.

Python

import requests  # pip install requests

models = requests.get("https://veselo.ai/v1/models", timeout=30).json()["data"]
for m in models:
    if "image" in m["input_modalities"]:
        p = m["pricing_rub"]
        print(m["id"], p.get("input_per_1m"), p.get("output_per_1m"))

curl

curl -s https://veselo.ai/v1/models | jq -r '.data[] | select(.input_modalities | index("image")) | .id'

Как отправить картинку

Картинка — часть сообщения user: вместо строки в content передаётся массив из текста и картинок. Картинка — объект {"type": "image_url", "image_url": {"url": …}}, где url — ссылка или сама картинка в base64.

  • Ссылка https://… должна открываться без входа и без защиты от роботов: картинку по ней скачивают при обработке запроса.
  • base64 — data:image/jpeg;base64,… (или image/png, image/webp). Подходит для файлов с диска. Весь запрос — до 25 МБ, поэтому большие фото сначала уменьши.
  • В одном сообщении может быть несколько картинок.

curl

curl https://veselo.ai/v1/chat/completions \
  -H "Authorization: Bearer $VESELO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "z-ai/glm-4v-plus",
    "max_tokens": 300,
    "messages": [{
      "role": "user",
      "content": [
        {"type": "text", "text": "Что написано на картинке крупными буквами?"},
        {"type": "image_url", "image_url": {"url": "https://veselo.ai/og.jpg"}}
      ]
    }]
  }'

Python

import os
from openai import OpenAI

client = OpenAI(base_url="https://veselo.ai/v1", api_key=os.environ["VESELO_API_KEY"])

r = client.chat.completions.create(
    model="z-ai/glm-4v-plus",
    max_tokens=300,
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "Что написано на картинке крупными буквами?"},
            {"type": "image_url", "image_url": {"url": "https://veselo.ai/og.jpg"}},
        ],
    }],
)
print(r.choices[0].message.content, r.usage.cost_rub)

JavaScript

import OpenAI from 'openai';

const client = new OpenAI({ baseURL: 'https://veselo.ai/v1', apiKey: process.env.VESELO_API_KEY });

const r = await client.chat.completions.create({
  model: 'z-ai/glm-4v-plus',
  max_tokens: 300,
  messages: [{
    role: 'user',
    content: [
      { type: 'text', text: 'Что написано на картинке крупными буквами?' },
      { type: 'image_url', image_url: { url: 'https://veselo.ai/og.jpg' } },
    ],
  }],
});
console.log(r.choices[0].message.content, r.usage.cost_rub);

Своё фото с диска — в base64. Положи файл photo.jpg рядом со скриптом:

Python

import base64
import os
from openai import OpenAI

client = OpenAI(base_url="https://veselo.ai/v1", api_key=os.environ["VESELO_API_KEY"])

with open("photo.jpg", "rb") as f:
    b64 = base64.b64encode(f.read()).decode()

r = client.chat.completions.create(
    model="z-ai/glm-4v-plus",
    max_tokens=300,
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "Опиши фото в двух предложениях."},
            {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
        ],
    }],
)
print(r.choices[0].message.content)

JavaScript

import fs from 'node:fs';
import OpenAI from 'openai';

const client = new OpenAI({ baseURL: 'https://veselo.ai/v1', apiKey: process.env.VESELO_API_KEY });
const b64 = fs.readFileSync('photo.jpg').toString('base64');

const r = await client.chat.completions.create({
  model: 'z-ai/glm-4v-plus',
  max_tokens: 300,
  messages: [{
    role: 'user',
    content: [
      { type: 'text', text: 'Опиши фото в двух предложениях.' },
      { type: 'image_url', image_url: { url: `data:image/jpeg;base64,${b64}` } },
    ],
  }],
});
console.log(r.choices[0].message.content);

Цена

Картинка оплачивается как токены входа: сколько токенов она стоит, решает модель, точное число придёт в usage.prompt_tokens. У некоторых моделей есть ещё цена за картинку — per_image_input в pricing_rub. В удержание каждая картинка идёт как 1500 токенов входа плюс эта цена.

Модель без image в input_modalities картинку не примет и вернёт ошибку. Ошибка не стоит денег.

← Без цензуры · Картинки →

Вся документация одним текстом · Все модели и цены