- Objective:
- Breadcrumb:
# 概念阐释
自我监督学习是一种无监督的学习方法,通过遮盖输入的部分内容,让模型预测被遮蔽的词。
> “自我监督学习捕捉输入中的依赖关系。在最常见的范例中,我们遮盖输入的一部分后将其反馈送到机器学习系统中,然后揭晓其余的输入——训练系统会捕捉看到的部分和尚未看到的部分之间的依赖关系。有时是通过预测缺失的部分来完成的,有时不完全预测。这种方法在自然语言处理的领域取得了惊人的成功。最近大模型的所有成功都是这个想法的一个版本。”
# 实例
[[Prompt 基本原则|LLM ]]预测语言模型
# 相关内容
# 参考资料