外观
图片输入(Vision)
把图片作为消息内容的一部分发送即可:OpenAI 兼容接口用 image_url,Anthropic 接口用 image 内容块,Gemini 接口用 inline_data。图片可以是公网 URL,也可以是 Base64 编码的数据。只有支持视觉的模型才能识图,以 模型广场 的说明为准。
OpenAI 兼容接口
bash
curl https://api.niceai.dev/v1/chat/completions \
-H "Authorization: Bearer $NICEAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "<支持视觉的模型名>",
"messages": [{
"role": "user",
"content": [
{"type": "text", "text": "这张图里有什么?"},
{"type": "image_url", "image_url": {"url": "https://example.com/cat.jpg"}}
]
}]
}'python
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://api.niceai.dev/v1", api_key=os.environ["NICEAI_API_KEY"])
with open("screenshot.png", "rb") as f:
b64 = base64.b64encode(f.read()).decode()
resp = client.chat.completions.create(
model="<支持视觉的模型名>",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "这张截图里的报错是什么意思?"},
{"type": "image_url", "image_url": {"url": f"data:image/png;base64,{b64}"}},
],
}],
)
print(resp.choices[0].message.content)Anthropic Messages 接口
python
import base64, os
import anthropic
client = anthropic.Anthropic(base_url="https://api.niceai.dev", api_key=os.environ["NICEAI_API_KEY"])
with open("screenshot.png", "rb") as f:
b64 = base64.b64encode(f.read()).decode()
msg = client.messages.create(
model="<模型名>",
max_tokens=1024,
messages=[{
"role": "user",
"content": [
{"type": "image", "source": {"type": "base64", "media_type": "image/png", "data": b64}},
{"type": "text", "text": "这张截图里的报错是什么意思?"},
],
}],
)
print(msg.content[0].text)source 也可以写成 {"type": "url", "url": "https://..."} 直接引用公网图片。
Gemini 接口
json
{
"contents": [{
"parts": [
{"inline_data": {"mime_type": "image/png", "data": "<Base64 数据>"}},
{"text": "这张截图里的报错是什么意思?"}
]
}]
}注意事项
- 图片也算 token:图片会按尺寸折算成输入 token,大图更贵。识别文字、截图这类任务,先把图片缩小到够看清即可。
- URL 要能公网访问:内网地址、需要登录的链接,上游模型拿不到,会报错。拿不准时改用 Base64。
- 格式:常见的 PNG、JPEG、WebP 一般都支持,
media_type要和实际格式一致。 - 请求体大小:Base64 会让数据变大约三分之一,多张大图时注意请求体积。
常见问题
返回 400,提示不支持图片?
所选模型不支持视觉输入,换一个支持视觉的模型。
模型说看不到图片?
检查 content 是不是数组形式,图片部分的 type 是否写对;用 URL 时确认链接能直接打开图片本身而不是网页。