外观
Eval 评估
用你自己的真实流量衡量回答质量。在控制台左侧进入 评估,有四个栏目:评估器、结果、数据集、实验。
评估器(怎么打分)
├─ 试评:挑一条真实请求,先试一下
├─ 历史批量评分:给已有回答打分,不重跑模型
├─ 自动评分:按比例给新请求打分(默认关闭)
└─ 实验:在数据集上用指定模型和提示词生成新回答,再打分1. 创建评估器
点 创建评估器,选择评分方式:
| 评分方式 | 说明 | 是否收费 |
|---|---|---|
| 规则 | 确定性检查:有效 JSON、JSON 必填字段、包含文本、匹配参考答案 | 不收费 |
| 模型 | 用评分模型按你的提示词打分,需要选执行 Key 和评分模型 | 按模型用量扣费 |
| 人工 | 评审人员手动评分 | 不收费 |
结果类型可选:通过 / 未通过、数值(设最小值和最大值)、类别(每行一个)。
保存评估器只保存定义,不会调用模型,也不会开启自动评分。
2. 试评
在评估器上点 试评,从你有权限的真实请求里搜索、选择一条,点 开始试评。只能选完整采集的请求,不用手填请求 ID。
3. 历史批量评分
点 历史批量评分,按时间、Key、模型和状态筛选,一次最多给 200 条匹配的请求打分。它评价的是已有回答,不会重新调用原业务模型。
4. 自动评分
打开 自动为新完成的请求评分,设采样百分比,可以限定 Key 和模型。默认关闭,只有 Owner 和 Admin 可以开关。不需要先试评成功。
5. 数据集与实验
数据集 保存输入样本和可选的参考答案。添加样本有三种方式:
- 手动添加
- 导入 JSONL:每行一个 JSON 对象,包含
input字段和可选的expected字段,文件小于 8 MiB - 从请求导入:把某条 Trace 的输入复制进来
json
{"input": "订单 4821 到哪了?", "expected": "已发货,预计明天送达"}
{"input": "怎么申请退款?"}原回答不会自动成为参考答案。
实验:选择数据集、模型、提示词(可选)、温度和评估器,点 开始运行。网关会为每个样本生成新回答并打分。
需要参考答案的评估器(如"匹配参考答案")只能在实验里用。
6. 对比
在 对比运行 里选两个实验运行,按样本逐条比较输出、评分、费用和耗时,并标出配置差异。每次运行都保留当时的实际配置,之后修改评估器不会改写历史结果。
结果怎么读
- 缺少依据、执行失败和低分分开显示。
- 运行状态:排队中、运行中、已完成、部分样本失败、已取消、等待人工评分。
- 取消会停止尚未发起的调用,已经发生的用量照常保留。
- 重试未完成样本会产生新的模型调用,从组织钱包扣费。
权限与保留
- 评估对象属于组织。Owner 和 Admin 管理全部,Member 只在自己能读的数据范围内管理自己的对象。
- Eval 正文默认保留 30 天。从 Trace 复制来的内容沿用原到期时间。