Source: https://wiki.niceai.dev/guide/api/vision

# 图片输入（Vision）

把图片作为消息内容的一部分发送即可：OpenAI 兼容接口用 `image_url`，Anthropic 接口用 `image` 内容块，Gemini 接口用 `inline_data`。图片可以是公网 URL，也可以是 Base64 编码的数据。只有支持视觉的模型才能识图，以 [模型广场](https://niceai.dev/model-plaza) 的说明为准。

## OpenAI 兼容接口

**-group**

```bash [图片 URL]
curl https://api.niceai.dev/v1/chat/completions \
  -H "Authorization: Bearer $NICEAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<支持视觉的模型名>",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "text", "text": "这张图里有什么？"},
        {"type": "image_url", "image_url": {"url": "https://example.com/cat.jpg"}}
      ]
    }]
  }'
```

```python [本地图片（Base64）]
import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://api.niceai.dev/v1", api_key=os.environ["NICEAI_API_KEY"])

with open("screenshot.png", "rb") as f:
    b64 = base64.b64encode(f.read()).decode()

resp = client.chat.completions.create(
    model="<支持视觉的模型名>",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "这张截图里的报错是什么意思？"},
            {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{b64}"}},
        ],
    }],
)
print(resp.choices[0].message.content)
```



## Anthropic Messages 接口

```python
import base64, os
import anthropic

client = anthropic.Anthropic(base_url="https://api.niceai.dev", api_key=os.environ["NICEAI_API_KEY"])

with open("screenshot.png", "rb") as f:
    b64 = base64.b64encode(f.read()).decode()

msg = client.messages.create(
    model="<模型名>",
    max_tokens=1024,
    messages=[{
        "role": "user",
        "content": [
            {"type": "image", "source": {"type": "base64", "media_type": "image/png", "data": b64}},
            {"type": "text", "text": "这张截图里的报错是什么意思？"},
        ],
    }],
)
print(msg.content[0].text)
```

`source` 也可以写成 `{"type": "url", "url": "https://..."}` 直接引用公网图片。

## Gemini 接口

```json
{
  "contents": [{
    "parts": [
      {"inline_data": {"mime_type": "image/png", "data": "<Base64 数据>"}},
      {"text": "这张截图里的报错是什么意思？"}
    ]
  }]
}
```

## 注意事项

- **图片也算 token**：图片会按尺寸折算成输入 token，大图更贵。识别文字、截图这类任务，先把图片缩小到够看清即可。
- **URL 要能公网访问**：内网地址、需要登录的链接，上游模型拿不到，会报错。拿不准时改用 Base64。
- **格式**：常见的 PNG、JPEG、WebP 一般都支持，`media_type` 要和实际格式一致。
- **请求体大小**：Base64 会让数据变大约三分之一，多张大图时注意请求体积。

## 常见问题

### 返回 400，提示不支持图片？

所选模型不支持视觉输入，换一个支持视觉的模型。

### 模型说看不到图片？

检查 `content` 是不是数组形式，图片部分的 `type` 是否写对；用 URL 时确认链接能直接打开图片本身而不是网页。

## 下一步

- [工具调用（Function Calling）](https://wiki.niceai.dev/guide/api/tools)
- [Chat Completions 接口](https://wiki.niceai.dev/guide/api/chat-completions)
