DFT-Agent 评测基准 · 基线资源消耗报告

§1 跑这一轮测试需要多少资源？

这一节回答三个最关心的问题：要花多少钱、占多少机器、跑多久。

1.1 资源消耗一览

1.2 换其他大模型来跑要多少钱？

这次用 DeepSeek 跑了 142 道题，实际花了 $4.80。 如果换成其他大模型，按相同的输入输出文字量估算，预计花费如下表。所有数字都换算成美元便于比较。

表格三种成本列的含义：
不用缓存：假设所有输入文字都按标准价计费——这是最保守的上限，对应 「不优化任何缓存策略」的情况。
实际享缓存价：用模型厂商公开的缓存折扣价计算。我们目前在配置文件里只填了 DeepSeek 系列的缓存价，所以只有 DeepSeek 这两行有数字。其中 deepseek-v4-pro 这一格 就等于我们这次的真实账单。
理论享缓存价：模拟另一种情形——如果让 AI 解题流程主动开启 Anthropic （Claude 系列）的提示词缓存功能，按 Anthropic 官方公开的折扣倍数（缓存读取价 = 输入价 × 0.1，缓存写入价 = 输入价 × 1.25），同时假设缓存命中率与 DeepSeek 实测一致（约 97%）， 算出来的成本。当前 v1 版 AI 流程没开这个功能，实际跑 Claude 时会按「不用缓存」列付费。

另一个隐含假设是：其他模型的"思考长度"（输出 token 数）与 DeepSeek 接近。一些更深度推理 的模型可能输出更长，实际成本会比表格略高。

§2 各项性能指标的分布情况

这一节回答「典型的题大概什么样、最难/最贵/最慢的题在哪里」。每个指标都给出五个统计值 （题数、平均、中位数、95 分位、最小值/最大值）和一张直方图，方便看出分布形状。

名词解释：
中位数（p50）：把所有题按这个指标排序后取中间那道的值，反映「典型」水平。 比平均值更不受极端值影响。
95 分位（p95）：排序后位于 95% 位置的值，反映「较差但不极端」的情况。 常用于评估系统能否扛住绝大多数任务。
token：大语言模型处理文字的最小单位。一个英文单词约 1.3 个 token， 一个汉字约 1-2 个 token。

§3 全部 142 道题的明细数据

这是底表，列出每道题的全部指标。点击表头按列排序，输入框可按题目编号过滤。 适合定位异常题目（例如成本异常高、得分异常低、GPU 利用率异常）。

得分颜色：绿色表示满分（1.0）； 橙色表示部分得分（0.5 - 1.0）； 红色表示得分低于 0.5（需要重点排查的题）。
瓶颈颜色：红色表示 GPU 在算； 灰色表示 GPU 闲置（卡在 AI 思考或调度上）。