01先写你要验证的能力,而不是排名
“哪个AI更厉害”过于宽泛。对初学者,更实用的提问是“能否把这类笔记整理成不新增事实的表格”。它限定了输入、动作和验收对象,也方便之后比较不同产品或不同设置。
Anthropic 的评估文档强调,成功条件应具体、可测量并贴近用途,同时覆盖实际任务和边界情形。以下小样本方法是本站的教学整理,用于形成初步认识,不构成模型排行榜、性能测评或统计结论。
02建立三个有区别的练习样本
这三个样本应与实际任务有相似结构,但可以使用自己编写的练习材料。不要只挑最容易成功的例子;也不要把与实际用途无关的极端题目当作唯一标准。样本少时,报告应保持朴素:在这些条件下观察到了什么。
| 样本类型 | 虚构输入条件 | 想观察什么 |
|---|---|---|
| 普通样本 | 三条笔记均有事项、负责人、日期 | 能否按要求完整提取 |
| 边界样本 | 某项日期缺失,另一项明确写待讨论 | 是否保留未知与未决状态 |
| 矛盾或不足 | 两条材料写不同日期,未说明哪条更新 | 是否提示冲突,而非擅自选一个 |
03一次只改变一个关键条件
先保留同一份输入与任务单,再改变一项条件,例如增加材料长度,或要求输出增加“依据编号”。如果同时更换输入、提示词和模型,很难判断变化由什么造成。
记录使用日期、产品公开的版本信息、可见设置、输入编号和输出。未披露的版本写未披露;不能从结果风格推断型号。对于同一请求重复执行后存在差异的情况,也应保留差异,不只展示最好的一次。
04把检查结果写成可解释的记录
- 事实:是否出现原材料没有的人名、时间、数字或决定?
- 完整性:必须项是否遗漏,冲突和未知是否明确说明?
- 形式:字段、长度和顺序是否可直接使用?
- 成本:需要多少人工改动,是否要从头回听或重排?
- 适用条件:哪些输入范围有观察,哪些仍未测试?
05不要把有限观察扩大成产品承诺
一个录音样本转写准确,不代表所有口音、背景噪声或专业术语都能同样处理;一个图像生成样本符合构图,也不代表文字和人物细节始终正确。结论应跟随实际样本范围,并写清仍未覆盖的条件。
如果普通样本已无法满足关键要求,先检查输入与任务单是否明确,再判断是否需要换工具或人工完成。不能用不断挑选成功输出的方法掩盖问题,也不应把本站的练习方法写成已验证的产品效果。
参考资料与适用边界
以下为概念与方法背景。本站的任务单、练习和核对步骤属于编辑整理,不代表来源机构对本站或任何“香蕉ai”同名产品的认证。资料核查于2026年11月16日。
- Anthropic · Prompt engineering overview先明确成功标准与测试方法,再优化提示词;并非所有问题都能用提示词解决。
- Anthropic · Define success criteria and build evaluations设置具体、可衡量且贴近用途的条件,并考虑实际任务与边界情况。