Skip to content

图片输入(Vision) ​

把图片作为消息内容的一部分发送即可:OpenAI 兼容接口用 image_url,Anthropic 接口用 image 内容块,Gemini 接口用 inline_data。图片可以是公网 URL,也可以是 Base64 编码的数据。只有支持视觉的模型才能识图,以 模型广场 的说明为准。

OpenAI 兼容接口 ​

bash
curl https://api.niceai.dev/v1/chat/completions \
  -H "Authorization: Bearer $NICEAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<支持视觉的模型名>",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "text", "text": "这张图里有什么?"},
        {"type": "image_url", "image_url": {"url": "https://example.com/cat.jpg"}}
      ]
    }]
  }'
python
import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://api.niceai.dev/v1", api_key=os.environ["NICEAI_API_KEY"])

with open("screenshot.png", "rb") as f:
    b64 = base64.b64encode(f.read()).decode()

resp = client.chat.completions.create(
    model="<支持视觉的模型名>",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "这张截图里的报错是什么意思?"},
            {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{b64}"}},
        ],
    }],
)
print(resp.choices[0].message.content)

Anthropic Messages 接口 ​

python
import base64, os
import anthropic

client = anthropic.Anthropic(base_url="https://api.niceai.dev", api_key=os.environ["NICEAI_API_KEY"])

with open("screenshot.png", "rb") as f:
    b64 = base64.b64encode(f.read()).decode()

msg = client.messages.create(
    model="<模型名>",
    max_tokens=1024,
    messages=[{
        "role": "user",
        "content": [
            {"type": "image", "source": {"type": "base64", "media_type": "image/png", "data": b64}},
            {"type": "text", "text": "这张截图里的报错是什么意思?"},
        ],
    }],
)
print(msg.content[0].text)

source 也可以写成 {"type": "url", "url": "https://..."} 直接引用公网图片。

Gemini 接口 ​

json
{
  "contents": [{
    "parts": [
      {"inline_data": {"mime_type": "image/png", "data": "<Base64 数据>"}},
      {"text": "这张截图里的报错是什么意思?"}
    ]
  }]
}

注意事项 ​

  • 图片也算 token:图片会按尺寸折算成输入 token,大图更贵。识别文字、截图这类任务,先把图片缩小到够看清即可。
  • URL 要能公网访问:内网地址、需要登录的链接,上游模型拿不到,会报错。拿不准时改用 Base64。
  • 格式:常见的 PNG、JPEG、WebP 一般都支持,media_type 要和实际格式一致。
  • 请求体大小:Base64 会让数据变大约三分之一,多张大图时注意请求体积。

常见问题 ​

返回 400,提示不支持图片? ​

所选模型不支持视觉输入,换一个支持视觉的模型。

模型说看不到图片? ​

检查 content 是不是数组形式,图片部分的 type 是否写对;用 URL 时确认链接能直接打开图片本身而不是网页。

下一步 ​

NiceAI · 稳定的 AI 大模型 API 中转站