Skip to content

Eval 评估 ​

用你自己的真实流量衡量回答质量。在控制台左侧进入 评估,有四个栏目:评估器、结果、数据集、实验。

评估器(怎么打分)
   ├─ 试评:挑一条真实请求,先试一下
   ├─ 历史批量评分:给已有回答打分,不重跑模型
   ├─ 自动评分:按比例给新请求打分(默认关闭)
   └─ 实验:在数据集上用指定模型和提示词生成新回答,再打分

1. 创建评估器 ​

点 创建评估器,选择评分方式:

评分方式说明是否收费
规则确定性检查:有效 JSON、JSON 必填字段、包含文本、匹配参考答案不收费
模型用评分模型按你的提示词打分,需要选执行 Key 和评分模型按模型用量扣费
人工评审人员手动评分不收费

结果类型可选:通过 / 未通过、数值(设最小值和最大值)、类别(每行一个)。

保存评估器只保存定义,不会调用模型,也不会开启自动评分。

2. 试评 ​

在评估器上点 试评,从你有权限的真实请求里搜索、选择一条,点 开始试评。只能选完整采集的请求,不用手填请求 ID。

3. 历史批量评分 ​

点 历史批量评分,按时间、Key、模型和状态筛选,一次最多给 200 条匹配的请求打分。它评价的是已有回答,不会重新调用原业务模型。

4. 自动评分 ​

打开 自动为新完成的请求评分,设采样百分比,可以限定 Key 和模型。默认关闭,只有 Owner 和 Admin 可以开关。不需要先试评成功。

5. 数据集与实验 ​

数据集 保存输入样本和可选的参考答案。添加样本有三种方式:

  • 手动添加
  • 导入 JSONL:每行一个 JSON 对象,包含 input 字段和可选的 expected 字段,文件小于 8 MiB
  • 从请求导入:把某条 Trace 的输入复制进来
json
{"input": "订单 4821 到哪了?", "expected": "已发货,预计明天送达"}
{"input": "怎么申请退款?"}

原回答不会自动成为参考答案。

实验:选择数据集、模型、提示词(可选)、温度和评估器,点 开始运行。网关会为每个样本生成新回答并打分。

需要参考答案的评估器(如"匹配参考答案")只能在实验里用。

6. 对比 ​

在 对比运行 里选两个实验运行,按样本逐条比较输出、评分、费用和耗时,并标出配置差异。每次运行都保留当时的实际配置,之后修改评估器不会改写历史结果。

结果怎么读 ​

  • 缺少依据、执行失败和低分分开显示。
  • 运行状态:排队中、运行中、已完成、部分样本失败、已取消、等待人工评分。
  • 取消会停止尚未发起的调用,已经发生的用量照常保留。
  • 重试未完成样本会产生新的模型调用,从组织钱包扣费。

权限与保留 ​

  • 评估对象属于组织。Owner 和 Admin 管理全部,Member 只在自己能读的数据范围内管理自己的对象。
  • Eval 正文默认保留 30 天。从 Trace 复制来的内容沿用原到期时间。

内容以控制台实际显示为准