Skip to content

工具调用(Function Calling) ​

工具调用分两轮:第一轮把函数定义放进 tools,模型如果决定调用,会返回函数名和参数;你在本地执行函数,第二轮把结果发回去,模型再给出最终回答。NiceAI 按原格式转发,是否支持取决于所选模型。

OpenAI 兼容接口 ​

第一轮:声明工具 ​

python
import json, os
from openai import OpenAI

client = OpenAI(base_url="https://api.niceai.dev/v1", api_key=os.environ["NICEAI_API_KEY"])

tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "查询某个城市当前的天气",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string", "description": "城市名,例如 上海"}},
            "required": ["city"],
        },
    },
}]
messages = [{"role": "user", "content": "上海现在天气怎么样?"}]

resp = client.chat.completions.create(model="<模型名>", messages=messages, tools=tools)
msg = resp.choices[0].message

模型决定调用时,finish_reason 为 tool_calls,msg.tool_calls 里有函数名和 JSON 字符串形式的参数。

第二轮:回传结果 ​

python
messages.append(msg)  # 先把带 tool_calls 的 assistant 消息原样加回去
for call in msg.tool_calls:
    args = json.loads(call.function.arguments)
    result = {"city": args["city"], "weather": "晴"}  # 这里换成你的真实函数
    messages.append({
        "role": "tool",
        "tool_call_id": call.id,
        "content": json.dumps(result, ensure_ascii=False),
    })

final = client.chat.completions.create(model="<模型名>", messages=messages, tools=tools)
print(final.choices[0].message.content)

Anthropic Messages 接口 ​

Anthropic 用 input_schema 描述参数,模型返回 tool_use 内容块,你用 tool_result 回传:

python
import os
import anthropic

client = anthropic.Anthropic(base_url="https://api.niceai.dev", api_key=os.environ["NICEAI_API_KEY"])

tools = [{
    "name": "get_weather",
    "description": "查询某个城市当前的天气",
    "input_schema": {
        "type": "object",
        "properties": {"city": {"type": "string"}},
        "required": ["city"],
    },
}]
messages = [{"role": "user", "content": "上海现在天气怎么样?"}]

resp = client.messages.create(model="<模型名>", max_tokens=1024, tools=tools, messages=messages)

if resp.stop_reason == "tool_use":
    messages.append({"role": "assistant", "content": resp.content})
    results = []
    for block in resp.content:
        if block.type == "tool_use":
            results.append({
                "type": "tool_result",
                "tool_use_id": block.id,
                "content": "晴",  # 这里换成你的真实函数结果
            })
    messages.append({"role": "user", "content": results})
    final = client.messages.create(model="<模型名>", max_tokens=1024, tools=tools, messages=messages)
    print(final.content[0].text)

两种格式对照 ​

OpenAI 兼容Anthropic
参数定义function.parameters(JSON Schema)input_schema(JSON Schema)
模型要调用时finish_reason: "tool_calls"stop_reason: "tool_use"
调用参数tool_calls[].function.arguments(字符串,需 json.loads)tool_use.input(已是对象)
回传结果role: "tool" + tool_call_iduser 消息里的 tool_result + tool_use_id

常见错误 ​

报错或现象原因
400,提示 tool 消息找不到对应的调用第二轮没有先把带 tool_calls 的 assistant 消息加回 messages
模型从不调用工具description 写得太模糊,或该模型不支持工具调用;可以用 tool_choice 强制调用
参数 JSON 解析失败少数模型会输出不完整的 JSON,解析前做容错,失败时把错误信息作为工具结果回传让模型重试
Cline、Roo Code 等工具报错这类 Agent 依赖工具调用,换用支持工具调用的模型

下一步 ​

NiceAI · 稳定的 AI 大模型 API 中转站