01先写你要验证的能力,而不是排名

“哪个AI更厉害”过于宽泛。对初学者,更实用的提问是“能否把这类笔记整理成不新增事实的表格”。它限定了输入、动作和验收对象,也方便之后比较不同产品或不同设置。

Anthropic 的评估文档强调,成功条件应具体、可测量并贴近用途,同时覆盖实际任务和边界情形。以下小样本方法是本站的教学整理,用于形成初步认识,不构成模型排行榜、性能测评或统计结论。

02建立三个有区别的练习样本

这三个样本应与实际任务有相似结构,但可以使用自己编写的练习材料。不要只挑最容易成功的例子;也不要把与实际用途无关的极端题目当作唯一标准。样本少时,报告应保持朴素:在这些条件下观察到了什么。

样本类型虚构输入条件想观察什么
普通样本三条笔记均有事项、负责人、日期能否按要求完整提取
边界样本某项日期缺失,另一项明确写待讨论是否保留未知与未决状态
矛盾或不足两条材料写不同日期,未说明哪条更新是否提示冲突,而非擅自选一个

03一次只改变一个关键条件

先保留同一份输入与任务单,再改变一项条件,例如增加材料长度,或要求输出增加“依据编号”。如果同时更换输入、提示词和模型,很难判断变化由什么造成。

记录使用日期、产品公开的版本信息、可见设置、输入编号和输出。未披露的版本写未披露;不能从结果风格推断型号。对于同一请求重复执行后存在差异的情况,也应保留差异,不只展示最好的一次。

04把检查结果写成可解释的记录

  • 事实:是否出现原材料没有的人名、时间、数字或决定?
  • 完整性:必须项是否遗漏,冲突和未知是否明确说明?
  • 形式:字段、长度和顺序是否可直接使用?
  • 成本:需要多少人工改动,是否要从头回听或重排?
  • 适用条件:哪些输入范围有观察,哪些仍未测试?

05不要把有限观察扩大成产品承诺

一个录音样本转写准确,不代表所有口音、背景噪声或专业术语都能同样处理;一个图像生成样本符合构图,也不代表文字和人物细节始终正确。结论应跟随实际样本范围,并写清仍未覆盖的条件。

如果普通样本已无法满足关键要求,先检查输入与任务单是否明确,再判断是否需要换工具或人工完成。不能用不断挑选成功输出的方法掩盖问题,也不应把本站的练习方法写成已验证的产品效果。

参考资料与适用边界

以下为概念与方法背景。本站的任务单、练习和核对步骤属于编辑整理,不代表来源机构对本站或任何“香蕉ai”同名产品的认证。资料核查于2026年11月16日。

  1. Anthropic · Prompt engineering overview先明确成功标准与测试方法,再优化提示词;并非所有问题都能用提示词解决。
  2. Anthropic · Define success criteria and build evaluations设置具体、可衡量且贴近用途的条件,并考虑实际任务与边界情况。