Python 与 AI 开发教程
全部分类

评测与安全

用指标和回归场景衡量 Agent 的效果，防范 prompt injection。

开始学习

4 章 · 5 组对比 · 约 40 分钟

评测

  1. 1评测指标改了一句提示词，Agent 是变好了还是变差了？靠试几个例子看不出来。评测把这个问题变成一组能比较的数字。8 分钟
  2. 2LLM-as-judge「回答是否有帮助」没法写成 assert。让一个模型按评分标准给另一个模型打分，就能评测这类问题，前提是先确认这位评委靠得住。7 分钟
  3. 3回归场景集把出过问题的场景固定下来，每次改动都跑一遍，修好的问题才不会再回来。这一章用 pytest 搭一套能进 CI 的回归评测。13 分钟

安全

  1. 4Prompt Injection对模型来说，你的指令和网页里的一段文字没有本质区别。Agent 一旦能读外部内容又能执行操作，这就是最需要防范的安全问题。12 分钟