大模型 API 性能与兼容性评测

让 API 选型
有据可依

以受控测试记录 API 的真实表现。
从性能、官方历史对比到 Agent 协议兼容性。

一次评测,留下完整证据

演示数据 · 非实测结论

从请求成功率、延迟、吞吐到缓存效果。
把数值结果与解读放在一起,让每一次判断都有依据。

成功率
98.6%

成功请求 / 总请求

首 Token 延迟
0.82s

首个有效流式内容的等待时间

输出吞吐
124tok/s

测试期间的总输出速率

缓存读取
76.3%

缓存读取 Token / 输入 Token

输出吞吐 (tok/s)

图表使用合成示例数据,输出吞吐约为每秒 100 至 145 Token。

合成请求序列,仅展示报告形式。

把每一步,测明白

围绕实际使用场景,设计可复现的评估方法,
让不同接口的表现有清晰的比较依据。

官方基线对比 · Chat 71 请求 + Agent 兼容最多 16 请求

  1. 1单请求门禁1 请求
  2. 2并发第一轮30 请求
  3. 3并发第二轮30 请求
  4. 4Agent 多轮10 请求

缓存有效时长

探测空闲间隔,最长 30 分钟。

  • 1 min
  • 5 min
  • 10 min
  • 30 min

用独立前缀观察空闲后的缓存读取。探测上限是观测窗口,实际保留情况以本次结果为准。

Agent 协议兼容性

检查协议响应与工具调用的完整闭环。

ResponsesMessages

覆盖流式与非流式、连续与同轮多个工具调用。协议结果与任务结果分别判断;真实客户端未验证。

八种测试方案

每种测试,都回答一个具体问题

从一次接口验证,到并发、缓存和协议闭环,按使用场景选择评测方式。

快速冒烟

接口能否完成一次请求?先确认基本连通与执行情况。

标准评测

常规延迟与吞吐如何?观察成功率、TTFT、ITL 与输出速率。

容量评测

并发提高后表现如何?逐档观察延迟变化、吞吐与错误。

官方基线对比

与官方历史快照差多少?保留基线日期、输入与协议条件。

Agent 缓存测试

多轮上下文能否复用缓存?观察会话中按轮次变化的表现。

缓存有效时长

空闲后缓存是否仍然命中?用独立梯度探测保留情况。

图像生成

出图成功率、延迟与吞吐如何?关注请求与图片产物指标。

Agent 兼容性验证

协议与工具调用能否完成闭环?留下用例结果和脱敏证据。

有数值,也有上下文

结论的依据,一起留下。

01

可追溯的对比

固定输入与协议,绑定带日期的官方历史快照。报告注明可比条件,帮助区分接口表现与测试方法差异。

02

清楚的结果边界

成功、失败阶段与字段缺失分别记录。HTTP 成功、可见回答和工具任务完成,是需要分别查看的证据。

03

便于理解与复测

官方对比与兼容报告可生成 AI 解读,保留程序判定。下载报告、回看历史,复制非敏感参数开展复测。

从配置到判断

三个步骤,了解你的 API

  1. 1

    填写接口信息

    登录平台,填写 API 地址、模型与本次任务使用的 Key。

  2. 2

    选择测试方案

    确认参数和请求预算,按所选模板执行评测。

  3. 3

    阅读与复测

    查看指标、错误和报告,保留证据后开展下一次比较。

API Key 仅用于本次任务,不进入任务数据库与报告。历史任务按账号权限管理,复测需要重新填写 Key。

先了解,再开始

常见问题

使用 APITest 需要账号吗?

此介绍页公开浏览,实际测试平台需要现有账号。普通用户可以查看和操作自己的任务,管理员可以查看全部历史任务。

测试会消耗模型调用额度吗?

真实测试会向被测 API 发送请求,调用费用由接口供应商收取。创建任务前会展示请求预算,平台不估算金额。本页报告示例使用合成数据,不发送测试请求。

官方基线是实时结果吗?

官方基线是带测试日期的历史快照。固定输入、协议版本和指标快照用于保持比较条件;结论需要同时考虑基线时间、模型版本与本次参数。

HTTP 200 就能说明 Agent 可用吗?

还需要检查流式内容、结束信号、工具参数和任务闭环。APITest 分别展示协议结果与任务结果;基础协议通过不代表真实 Codex / Claude Code 客户端全面兼容,真实客户端目前未验证。

30 分钟代表缓存一定能保留这么久吗?

30 分钟是缓存空闲探测的最大间隔。实际保留情况以本次观测为准,缓存读取指标也取决于供应商是否返回相应 usage 字段。

能评估模型回答的准确率或图片质量吗?

当前重点是性能、稳定性、缓存与协议兼容性。图像测试关注请求成功率、出图延迟和吞吐;通用语义准确率、模型智能排名与画面质量评分不属于当前能力。

让每一次接入,都多一份依据

先测清楚,再做选择

从一次请求开始,看到模型 API 在具体条件下的表现。

进入 APITest 平台 需要现有账号 · 真实测试按接口供应商计费