外观
工具调用(Function Calling)
工具调用分两轮:第一轮把函数定义放进 tools,模型如果决定调用,会返回函数名和参数;你在本地执行函数,第二轮把结果发回去,模型再给出最终回答。NiceAI 按原格式转发,是否支持取决于所选模型。
OpenAI 兼容接口
第一轮:声明工具
python
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://api.niceai.dev/v1", api_key=os.environ["NICEAI_API_KEY"])
tools = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "查询某个城市当前的天气",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string", "description": "城市名,例如 上海"}},
"required": ["city"],
},
},
}]
messages = [{"role": "user", "content": "上海现在天气怎么样?"}]
resp = client.chat.completions.create(model="<模型名>", messages=messages, tools=tools)
msg = resp.choices[0].message模型决定调用时,finish_reason 为 tool_calls,msg.tool_calls 里有函数名和 JSON 字符串形式的参数。
第二轮:回传结果
python
messages.append(msg) # 先把带 tool_calls 的 assistant 消息原样加回去
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"city": args["city"], "weather": "晴"} # 这里换成你的真实函数
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result, ensure_ascii=False),
})
final = client.chat.completions.create(model="<模型名>", messages=messages, tools=tools)
print(final.choices[0].message.content)Anthropic Messages 接口
Anthropic 用 input_schema 描述参数,模型返回 tool_use 内容块,你用 tool_result 回传:
python
import os
import anthropic
client = anthropic.Anthropic(base_url="https://api.niceai.dev", api_key=os.environ["NICEAI_API_KEY"])
tools = [{
"name": "get_weather",
"description": "查询某个城市当前的天气",
"input_schema": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
}]
messages = [{"role": "user", "content": "上海现在天气怎么样?"}]
resp = client.messages.create(model="<模型名>", max_tokens=1024, tools=tools, messages=messages)
if resp.stop_reason == "tool_use":
messages.append({"role": "assistant", "content": resp.content})
results = []
for block in resp.content:
if block.type == "tool_use":
results.append({
"type": "tool_result",
"tool_use_id": block.id,
"content": "晴", # 这里换成你的真实函数结果
})
messages.append({"role": "user", "content": results})
final = client.messages.create(model="<模型名>", max_tokens=1024, tools=tools, messages=messages)
print(final.content[0].text)两种格式对照
| OpenAI 兼容 | Anthropic | |
|---|---|---|
| 参数定义 | function.parameters(JSON Schema) | input_schema(JSON Schema) |
| 模型要调用时 | finish_reason: "tool_calls" | stop_reason: "tool_use" |
| 调用参数 | tool_calls[].function.arguments(字符串,需 json.loads) | tool_use.input(已是对象) |
| 回传结果 | role: "tool" + tool_call_id | user 消息里的 tool_result + tool_use_id |
常见错误
| 报错或现象 | 原因 |
|---|---|
| 400,提示 tool 消息找不到对应的调用 | 第二轮没有先把带 tool_calls 的 assistant 消息加回 messages |
| 模型从不调用工具 | description 写得太模糊,或该模型不支持工具调用;可以用 tool_choice 强制调用 |
| 参数 JSON 解析失败 | 少数模型会输出不完整的 JSON,解析前做容错,失败时把错误信息作为工具结果回传让模型重试 |
| Cline、Roo Code 等工具报错 | 这类 Agent 依赖工具调用,换用支持工具调用的模型 |