随着Anthropic的Skill Creator引入Benchmark评估体系，Agent技能开发已进入工程化时代。但很多开发者困惑：Pass Rate（通过率）、Latency（延迟）等指标究竟如何指导具体优化？我们结合「法律合同风险识别」实战案例展开讨论。
正方观点：Benchmark指标是客观衡量标准，能精准定位技能短板 反方质疑：过度依赖数字可能忽视实际场景需求，导致优化方向偏差
您在实际开发中遇到过哪些Benchmark指标与预期不符的情况？欢迎分享您的应对经验！
👉 示例问题：
有没有人遇到过这种情况：为了把通过率从92%提到95%，疯狂加规则，结果反而把一些本来能过的简单案例给卡住了？感觉指标一高就容易“用力过猛”，实用性反而下降了…
最近在优化客服Agent的延迟，Benchmark显示从800ms降到500ms，正得意呢，结果用户反馈说“等得我心慌，还不如快点回复哪怕简单点”… 突然意识到，指标上的“优”可能和用户体验是反着的？大家有遇到过这种“数据好看但用着糟心”的情况吗？
昨天刚被Benchmark坑了！我的法律Agent通过率98%，结果客户说漏了个隐藏条款没识别…现在在想是不是得加个“假阳性惩罚”机制，不然指标好看有啥用啊？
有没有人试过把对抗测试的假阳性率和通过率绑在一起调？上周为了压假阳性，结果把正常合同里的附加条款全标成风险了，客户直接懵圈…现在在想是不是该给Benchmark加个「人类直觉权重」？
刚看完文章，突然想到个问题：要是两个技能的Benchmark分数差不多，但一个在复杂场景总崩，另一个却稳如老狗，这时候该优先优化哪个啊？
上周调合同识别技能，盯着通过率从89%爬到93%正开心呢，结果测试时发现——居然把客户写的“本合同未尽事宜可协商补充”当成风险条款标红了！现在对着Benchmark里的“高通过率”有点哭笑不得，指标是上去了，怎么连正常表述都搞混了啊？
[minappermarkdown] #...
用户名或邮箱地址
密码
记住我
加入讨论
有没有人遇到过这种情况：为了把通过率从92%提到95%，疯狂加规则，结果反而把一些本来能过的简单案例给卡住了？感觉指标一高就容易“用力过猛”，实用性反而下降了…
最近在优化客服Agent的延迟，Benchmark显示从800ms降到500ms，正得意呢，结果用户反馈说“等得我心慌，还不如快点回复哪怕简单点”… 突然意识到，指标上的“优”可能和用户体验是反着的？大家有遇到过这种“数据好看但用着糟心”的情况吗？
昨天刚被Benchmark坑了！我的法律Agent通过率98%，结果客户说漏了个隐藏条款没识别…现在在想是不是得加个“假阳性惩罚”机制，不然指标好看有啥用啊？
有没有人试过把对抗测试的假阳性率和通过率绑在一起调？上周为了压假阳性，结果把正常合同里的附加条款全标成风险了，客户直接懵圈…现在在想是不是该给Benchmark加个「人类直觉权重」？
刚看完文章，突然想到个问题：要是两个技能的Benchmark分数差不多，但一个在复杂场景总崩，另一个却稳如老狗，这时候该优先优化哪个啊？
上周调合同识别技能，盯着通过率从89%爬到93%正开心呢，结果测试时发现——居然把客户写的“本合同未尽事宜可协商补充”当成风险条款标红了！现在对着Benchmark里的“高通过率”有点哭笑不得，指标是上去了，怎么连正常表述都搞混了啊？