提示词不是咒语:任务设计决定输出
本文性质: 模型 + 实证(Model / Evidence) 证据标签: 观察 Observation/模型 Model/假设 Hypothesis/实证 Evidence
本篇涉及的证据类型:模型 Model/实证 Evidence/假设 Hypothesis。凡属本院课堂观察与教学模型的部分,均不作效果承诺。
很多人以为提示词是一串有魔力的咒语,抄对了就能得到好结果。更接近事实的说法是:提示词是对任务的描述,任务本身没想清楚,描述再长也没用。
提示词是对任务的描述
本院 AI 学习实验室的实践记录显示,同一模型、同一主题,输出质量的差别主要来自三件事:有没有给出目标读者、有没有限定输出结构、有没有给一个可对照的范本。三件事都缺的时候,输出通常是正确但无用的通稿;补上之后,输出未必惊艳,但可以直接进入修改流程。这属于实验室内部经验,样本量小,不作为普适结论。
分步推理与目标设定的两条证据
Wei 等 2022 年的研究展示了思维链提示:让模型分步给出推理过程,可以明显改善数学与推理类任务的表现。Locke 与 Latham 2002 年总结的目标设定研究表明,具体而有一定难度的目标,比笼统的尽力做好更能提升表现——这条结论来自对人的研究,迁移到给模型下指令时也大体同向:指令越具体,可对照的标准越清楚。课堂里同一现象随处可见,任务描述模糊时,学生交上来的东西也会模糊。
本院提示词四格与一句约束
本院把提示词拆成四格,按顺序填:目标读者是谁、这份产出要解决什么问题、输出的结构与长度、一个可参照的样本。四格之外再加一句约束:不确定的地方标出来,不要猜。最后那一条最有价值,因为它把看起来完整换成了知道哪里不可靠。
收益递减与版本漂移
第一,提示词优化存在明显的收益递减,写到第二三格之后往往就没有多少提升空间。第二,模型的版本更新会改变对同一提示的响应,今天写得顺手的模板下个月可能要重调,所以模板要留版本说明。第三,任务设计的能力是稀缺项,模型不能替你决定这篇文章要解决什么问题。
今天就能开始
下次写提示之前,先用一句话写下这份产出要解决的问题;写不出来的话,先别打开对话框。
本文依据
- 观察来源: 本院 AI 学习实验室实践记录:同一主题在补齐读者、结构、范本三项信息后,输出可直接进入修改流程的比例上升。属内部观察,未做对照实验。
- 模型出处: 提示词四格与「不确定处标记」约束,为本院 AI 学习实验室内部操作模板。
- 待验证项: 目标设定研究向模型指令设计的迁移,目前只有方向性一致,缺乏直接实验支持。
- 外部文献: Wei 等 2022(NeurIPS 思维链提示);Locke & Latham 2002(American Psychologist 目标设定理论)。