Anthropic 内部大神揭秘“提示工程”的真相与未来

2025年4月8日2025年4月8日 lingshun

原视频标题

本文内容根据以下视频内容进行总结
AI prompt engineering: A deep dive
播客视频链接
https://www.youtube.com/watch?v=T9aRN5JkmL8
2024-09

凌顺实验室看了几位 Anthropic（就是开发 Claude 的那家公司）的内部专家——有开发者关系主管、提示工程团队大佬、模型微调负责人，又关“提示工程”这个话题的视频，虽然是2024年的，但感觉到现在（2025年）还未过时。咱就一起学习一下，看看这些“圈内人”是怎么看待和实践提示工程的，保证让你有种“原来如此”的恍然大悟感，顺便还能学几招实用的技巧，让你跟 AI 模型 交流起来更顺畅！

到底啥是提示工程？听着像“工程”，其实核心是“沟通”？

一上来，大家就开门见山：提示工程 到底是个啥玩意儿？

Anthropic 的提示工程专家 Zach Whitten 觉得，这事儿的核心其实很简单，就是想办法让模型理解你的意图，并尽可能发挥它的潜力去完成任务。听起来是不是有点像跟人沟通？没错，Zach 也觉得，跟模型交流，很大程度上就像跟人打交道，关键在于清晰地表达。

那为啥叫“工程”呢？Zach 解释说，“工程”味儿主要体现在那个反复试错、迭代优化的过程。跟人聊天吧，话说出去了覆水难收，但跟模型互动，你可以随时按下“重来”按钮，清空状态，换个法子再试一次，之前的失败尝试不会干扰下一次。这种不断实验、设计不同方法来达到目标的能力，就有点“工程”那味儿了。

David（另一位与客户打交道的技术专家）补充说，从系统角度看，提示词有点像给模型“编程”的指令。你需要考虑数据从哪来、模型能访问啥（比如用 RAG 的时候）、怎么平衡效果和速度等等。这种系统性的思考，让它区别于一般的写作，也跟纯软件工程不太一样。

所以，简单来说，提示工程 ≈ 清晰沟通 + 反复试验 + 系统思维。它不是什么黑魔法，更像是一种需要耐心和技巧的“对话艺术”加上一点点“实验精神”。

怎样才算一个“会玩”提示工程的“大师傅”？

聊完了定义，那什么样的人才能算得上是好的提示工程实践者呢？或者说，咱们普通人想提升这方面能力，该往哪使劲？

Amanda Askal（领导模型微调团队）给出了几个关键点：

清晰沟通能力是基础： 能把事儿说明白，理解任务，描述清楚概念。这不仅仅是文笔好，更是逻辑清晰。
拥抱迭代，不怕麻烦： 写提示词不是一蹴而就的。Amanda 自己跟模型互动时，可能 15 分钟内就试了几百个提示，不断调整。“愿意反复尝试，琢磨模型可能在哪卡壳了，并动手修正”，这太重要了。
警惕“完美假设”，死磕边缘案例： 这是个经典“新手坑”！很多人只测试那些最常见、最理想的情况，觉得没问题就万事大吉了。但真正的高手会去想：那些不常见的、奇葩的输入（比如空字符串、完全不相关的内容）下，模型会咋办？

工程师们总爱幻想用户输入得那叫一个标准、措辞优美，结果呢？现实往往是用户根本不用 Shift 键、错别字满天飞、没标点符号，突出一个随心所欲… 所以啊，设计提示时多想想这些“不按常理出牌”的情况，你的提示才够“抗打”，不容易翻车。
“查看你的数据”2.0版——“细读模型的输出”： 机器学习里有句老话叫“查看你的数据”。在提示工程里，对应的就是“仔细阅读模型的输出”。你得看模型到底是怎么回应的，它的“思考过程”（如果用了像“逐步思考”这样的指令）是不是真的按你预想的在走。有时候模型嘴上答应得好好的，实际操作可能完全跑偏了，你不看输出根本发现不了！
剥离自身假设，提供完整上下文： 这是区分高手和普通玩家的另一个关键。很多人写提示时，默认模型“应该知道”很多背景知识，结果写出来的东西只有自己看得懂。优秀的提示工程师能把自己从“我知道”的状态抽离出来， 清晰地告诉模型完成任务所需的全部信息，而不是让模型去猜。

Zach 也补充，他经常看到一些提示，连他这个人类都看不懂，更别说模型了。模型现在还不擅长在你指令不清时反问“大佬，您这块儿没说明白，能再细化下吗？”，所以这个“反问”的活儿，得提示工程师自己先在脑子里过一遍。

“角色扮演”大法，真的灵吗？还是老老实实说人话？

网上流传着一种技巧，就是让模型“扮演”某个角色，比如“你现在是一位资深文案…”据说这样效果更好。这招到底灵不灵？

Anthropic 的专家们似乎对此持保留态度，尤其是对越来越聪明的模型（比如 Claude 3.5 Sonnet）。Amanda 就直言，她更倾向于坦诚地告诉模型实际情况。比如，她要做模型评估，就会直接说：“我正在为语言模型构建评估数据集”，而不是让模型假扮老师出考题。她觉得，现在的模型足够聪明，能理解很多真实世界的任务背景，没必要“骗”它。

David 打了个很有意思的比方：把 AI 模型 想象成一个能力不错的临时工。你雇他来干活，他懂点行规，但对你公司的具体情况一无所知。你会怎么给他布置任务？你可能会用比喻帮他理解（比如“这图表达到高中生水平就算好”），但你不会直接跟他说“你就是个高中老师”，因为他不是。同样，直接、清晰地说明任务背景、你的目标、甚至是一些需要注意的细节，往往比让它强行“扮演”效果更好。 更重要的是，别忘了给模型留条“后路”！就像你跟实习生说‘遇到拿不准的就吱声，别瞎猜’。告诉模型在搞不懂或者遇到奇葩输入时，可以输出个“我不确定”之类的标签。这样你就能回头检查这些特殊情况，总比它硬着头皮给你编个离谱的答案，然后你对着结果哭笑不得要强吧？ 这一点在咱们凌顺实验（www.lingshunlab.com）的实践中也深有体会。

当然，Zach 也提到，恰当的比喻有时确实能帮助模型“进入状态”，比如用“给高中作业打分”的标准来评估图表质量，暗示了评估的层次和重点。关键在于，比喻是辅助理解的工具，而不是替代清晰指令的捷径。

“一步一步想”：模型真的在思考，还是在“演”？

“Chain of Thought”（思维链），也就是让模型在给出答案前先“叨叨”一遍推理过程，这个技巧大家可能也听过。问题来了：模型这番“叨叨”，是真的在思考，还是为了凑字数、走流程？

专家们的看法很务实：别太纠结哲学问题，好用就行！ Zach 认为，不管这算不算真正的“推理”，事实证明，让模型结构化地思考（或者说“模拟思考”），确实能提高复杂任务的准确率。

他还打趣说，让他自己心算一道复杂的数学题，没有纸笔打草稿也够呛，模型需要“思维链”这个“草稿本”，好像也挺合理的？ 当然，他们也观察到，有时模型推理步骤里有错误，但最后答案居然对了；或者推理过程前后矛盾… 所以，把它完全等同于人类的严谨推理，可能有点“自作多情”。但总的来说，这个技巧是有效的，值得尝试。

语法标点强迫症？提示词里到底重不重要？

写提示词，需不需要字斟句酌，连个逗号都不能错？

Zach 和 Amanda 都觉得，概念清晰远比完美的语法标点重要。

Amanda 大佬就坦白，她自己的提示里也经常有错别字，“感觉自己被冒犯了（开玩笑啦）”。像 Claude 这样经过优化的模型（RHF 模型），对这些小瑕疵容忍度很高，通常能领会精神。但这不代表就可以放飞自我。Zach 认为，养成注重细节的习惯是好的，这会让你自然而然地关注提示的逻辑和清晰度。 就把它当成程序员对用 Tab 还是空格的那种“代码洁癖”吧，有点仪式感，也能提升整体质量，对吧？

跟早期那种纯粹基于文本预测的预训练模型不同，现在的 RHF 模型被“教导”过要尽量准确、流畅，所以不会因为你输入有错别字，输出就也跟着错字连篇（预训练模型倒是有可能）。

提示工程的“进化论”与“未来猜想”

提示工程这门“手艺”也不是一成不变的。Amanda 指出，很多曾经被奉为“秘籍”的技巧（比如针对特定任务的特定指令格式），一旦被发现效果拔群，下一步往往就是被训练进模型本身了。比如，以前做数学题，你得明确告诉模型“一步一步想”，现在模型看到数学题，自己就倾向于这么做了。

那么，未来的提示工程会变成什么样？我们会不会都变成“提示工程师”？

专家们普遍认为，“工程”的成分可能会减少，但“清晰沟通”的需求将永远存在。 随着模型越来越智能，我们可能不需要像现在这样“手把手教”，模型会更擅长理解我们的模糊意图。

未来的交互可能会更有趣。Amanda 畅想，以后可能不是我们费劲心思写提示“调教”模型，而是模型反过来“采访”我们：“大佬，您这个需求听起来有几种可能的理解，您具体是指哪种？哦对了，您提到输入是 XX 格式，但我偶尔也收到 YY 格式，这种情况您希望我怎么处理？” 嘿，想想还挺带感的，感觉自己瞬间成了被 AI “咨询”的甲方爸爸！

David 的比喻也很形象：现在我们像是在指导一个临时工，未来可能更像是咨询一位专家设计师。 我们提出需求，模型（设计师）凭借其专业知识反问我们，帮助我们厘清想法。

这意味着，未来的关键可能不再是“教”模型怎么做，而是如何清晰地、准确地向这个越来越聪明的“伙伴”表达我们自己真正想要什么。这听起来，对我们自身的思考和表达能力，也提出了更高的要求呢。从“教学”思维转向“内省”和“清晰表达”，这也许就是提示工程演化的方向。

总结一下，今天我们学到了啥？

听完 Anthropic 专家们的分享，关于提示工程，我们可以记住这几点：

核心是沟通： 清晰、准确地表达你的意图是王道。
拥抱迭代： 好提示是试出来、改出来的，别怕麻烦。
关注细节与边界： 多想想异常情况，给模型留“退路”。
读懂模型的回应： 输出里藏着很多信息，别只看结果。
坦诚相待： 对聪明的模型，直接说清任务背景往往更有效。
不断实践和探索： 像 Amanda 说的，保持好奇心，多尝试挑战模型能力的边界，你会学到最多。

说到底，提示工程没那么神秘，它更像是一门与 AI 有效对话的艺术和科学。它要求我们既要有逻辑思维，也要有同理心（去理解模型可能的“想法”），未来甚至更需要我们有内省和精准表达的能力。这其实正正就是学问，学会提问，把问题表达清楚，AI才能帮到你。

希望今天的分享，能帮你揭开提示工程的面纱，让你在和 Claude 或其他 AI 模型互动时，更加得心应手！