tags：bok，资源 # videos checklist - [x] seen? - [ ] note-taking? thinking about it? - [ ] share? # why # what - 2024 年的视频，有些设想已经实现，甚至超越了 ## GPT 训练过程 - [[LLM、GPT 的训练过程]] -  -  ## application -  - **目标一：实现最佳性能表现** - 使用 GPT-4 - 使用包含详细任务背景、相关信息和指令的提示语 - _“如果对方无法回你邮件，你会怎么告诉任务承包人？”_ - 检索并添加任何相关的上下文或信息到提示中 - 尝试提示词工程技术（见前几页幻灯片） - 尝试使用少量示例（few-shot examples），这些示例应当：1）与测试用例相关；2）在适当情况下具有多样性 - 尝试使用工具/插件来分担对大型语言模型困难的任务（如计算器、代码执行等） - 花时间优化你的工作流/“链条” - 如果你觉得已经把提示词调教到极致，可以考虑 SFT 数据收集 + 微调 - 如果处于专家/脆弱/研究领域：考虑 RM 数据收集、RLHF 微调 - **目标二：优化成本** - 一旦你已经实现了最佳性能，再考虑节省成本（例如使用 GPT-3.5、使用更短的提示语等） # how # how good # inbox # todo # ref. - https://www.youtube.com/watch?v=bZQun8Y4L2A&list=PLLphS6uVIENV5y4DmpKzF1rUpvXSnITI3&index=3&t=66s # related. # archive.