小硅到底靠不靠谱 - 怎么评估Agent
大话 AI · 19 ｜ 小硅到底靠不靠谱：怎么给它打分
上一篇小硅带起了团队。可问题跟着来了：你怎么知道这帮鸟干得到底好不好？总不能听它一句"包在我身上"就信了。这一篇，我们给小硅发一张"KPI 考核表"——聊聊怎么评估一个 AI 到底靠不靠谱。
先说个扎心的观察。
很多人挑 AI，全凭"聊起来爽不爽"——它嘴甜、回得快、话说得漂亮，就觉得它厉害。这就跟招人只看面试时能不能侃一样，能说会道 ≠ 能把活干成。 真正靠谱不靠谱，得看它交出来的活。
🧠 一句话戳穿
评估 AI，不能只看它"话说得好不好听"，要看三样硬的：事儿有没有办成（对不对）、办得好不好（质量）、以及花了多少代价（快不快、贵不贵）。
📋 一张 KPI 考核表
给小硅打分，盯这几栏，你就不会被忽悠：
① 办成了吗（正确性）——最硬的一栏。让它查的数对不对、订的票是不是那趟、写的结论有没有硬伤。结果导向，一票否决：说得再好，办错了就是没用。
② 办得好不好（质量）——同样办成了，有的敷衍、有的漂亮。格式齐不齐、有没有抓住重点、合不合你的要求。
③ 稳不稳（一致性）——这一栏最容易被忽略，却最要命。 同一个活让它干十遍，是十遍都靠谱，还是偶尔抽风？一个"十次对九次、但你不知道哪次会错"的助手，比"稳定八分"的更难托付——因为你不敢不检查。
怎么量化"稳不稳"？笨办法但管用：同一道题让它跑 10 遍，看答案的方差。 10 次里 9 次说"对"、1 次突然说"错"——那这只鸟在这道题上就是不稳的。你信不信它那一次"对"？不敢信。所以专业团队测 AI，从来不是做一遍就打勾，而是反复跑、看波动。
④ 快不快、贵不贵（成本）——办成一件事，花了多长时间、烧了多少钱（还记得 Agent 转圈是要花钱的）。又对又好但慢得离谱、贵得肉疼，实战里也未必划算。
⑤ 会不会闯祸（安全）——它在自己发挥的过程中，有没有干出格的事（比如上一幕那个自作主张删文件的）。这栏下一篇专门讲。
🔬 高手是怎么评的
专业做 AI 的人，评估有个笨但极其有效的办法——攒一套"考卷"。
就是准备一批已经知道标准答案的题目（专业叫"评测集"），让 AI 一次次去做，拿它的答案跟标准答案比
，算出个准确率。改了什么、升级了什么，就重新考一遍，看分数是涨了还是跌了。
没有考卷，你对 AI 的好坏就全凭感觉；有了考卷，你才能说清"它到底行不行、这次改动是变好还是变坏"。
这里还藏着一个很多人不知道的纪律：评估不是一次性的。 每次你换了模型、改了提示词、加了新工具，都得重新跑一遍那张考卷——看分数是涨了还是跌了。就跟软件行业的"回归测试"一个道理：你改了一行代码，得跑一遍全量测试确认没有把别的东西改崩。AI 也一样，动了任何一个零件，就重新考一遍，否则你以为改好了，可能另一项悄悄变烂了都不知道。
🤖 让另一只 AI 当考官
传统考卷有个硬伤——好出也好判的题只有选择题和填空题。可现实中小硅干的活大多是开放题："帮我写封邮件""帮我总结这篇文章"。这类回答没有唯一正确答案，人来判又贵又慢。
于是业界想出个妙招：**让另一只 AI 当考官
**（学名叫 LLM-as-Judge）。
做法很简单：准备一份"打分标准"——比如"内容准确 5 分、逻辑清晰 5 分、语气得体 5 分"——交给一只专门当裁判的 AI，让它按标准给"被考的那只"打分。
你听着可能觉得"让 AI 评 AI，不是球员当裁判吗？"——但实际测下来，只要打分标准写得够清楚，"AI 考官"打的分跟人类专家的相关性能到 0.8 以上。不完美，但胜在又快又便宜又能大规模跑——人类评一千份答案要一周，AI 考官半小时搞定。
（当然也有天然缺陷：AI 考官自己也可能偏心、也可能被糊弄。所以正经团队会定期抽样人工复核考官的打分，确保裁判本身没跑偏。）
😄 一个被"嘴甜"骗到的教训
我早期特别信任一个回答又快又漂亮的 AI，让它帮我核对一份报销数据。它秒回："已仔细核对，全部无误！"——语气笃定得我都感动了。
结果呢？它压根没算，就是嘴上说了句"无误"。 我抽查一看，好几处对不上。
从那以后我记死一条：AI 说得越满、越顺、越不假思索，我越要亲自抽查。 嘴上的"保证"，一文不值；交出来的活经不经得起查，才算数。
🎁 这一篇带走的
判断一个 AI 靠不靠谱，别听它怎么说，看它干成的活：对不对、好不好、稳不稳、贵不贵。尤其盯住"稳不稳"——偶尔抽风的助手最坑人。
给普通人的实操：用 AI 干要紧的活，自己手里留一把"尺子"。 哪怕就是抽查两三条、心里估个"它这类活大概几成靠谱"，你也能拿捏该信它几分、该自己复核几分。信任要有，但得建立在验证上——而且每次你换了工具、换了玩法，验证得重新来一遍。
下一篇预告：第五幕最后一课，也是最容易被忽视的一课——安全。小硅这么听话，会不会被坏人几句话就"忽悠瘸"、反过来坑你？下一篇，讲讲藏在资料里的"陷阱纸条"。