# what - prompt engineering 指令工程，人类用户的输入统称为 prompt。prompt 可以分为两种，内容 prompt 和 meta prompt，一般说 prompt engineering 指的是这种。 - [[内容 prompt]] - 代表我们真正的思想和主张，是我们想让大模型进行哪种思路、哪种切入角度、以及具体希望生成什么类型的内容。这个部分才是最能体现创造性、洞察力以及价值观的地方。 - [[prompt engineering|meta prompt]] - 是一种指导性的“工具”，它告诉模型在“回答方式”和“对话风格”上需要遵守哪些规则、需要补充哪些背景、需要避免哪些雷区等等。它可以让大模型的回答更符合预期，但它并不能从根本上弥补内容的缺失或品质的不足。 # why ## prompt engineering 原理 - **LLM 的本质**：prompt 相当于是给 [[LLM 大语言模型]]的**一段特定的前缀**，模型会根据前缀的上下文来预测下一个词。 - **注意力聚焦**：LLM 本质上是一个在海量文本数据（人类所有知识和思想）上学到了一整套复杂的语义分布的[[语义空间]]。prompt 相当于在缩小模型的“分布空间”，让注意力更加聚焦于用户提出的问题。 - **[[Instruction Following|指令遵循]]Instruction Following**：近年来热门的Instruction Tuning（如[[InstructGPT]]、ChatGPT等）进一步强化了“指令”在Prompt中的重要性。 # how ## 实例 - [[meta prompt：狂暴模式]] - [[meta prompt：英文搜索，中文回答]] - [[meta prompt：let's think step by step]] - [[meta prompt：解释概念]] - [[meta prompt：主题研究]] - [[meta prompt 总结]] - [[meta prompt：o1 狂暴模式]] - [[meta prompt：增强 LLM 回答能力]] # how good - [[prompt engineering]] 不是灵丹妙药 - 任何 prompt 都不能把[[GPT-3]]变成[[GPT-4]]，让 GPT-4 变成[[o1]]。 - **不是鼓吹 prompt engineering，重要的是 理解[[meta prompt：增强 LLM 回答能力]]的原理，清晰的表达[[内容 prompt]]**，就是好好说话的能力 - 用好内容 prompt 的前提是**自我阅读** # Ref. - [内容 prompt vs meta prompt](https://readwise.io/reader/shared/01jjk5rxh7gy5jz1gnnez59s1x) - [prompt engineering 的科学原理](https://readwise.io/reader/shared/01jjmz7v449z1j1zn6t9zb4308) - https://x.com/howie_serious/status/1876116270145499542