- Objective: - Breadcrumb: 人工神经网络 # 概念阐释 循环神经网络（Recurrent Neural Networks, RNNs）是一种[[ANN 人工神经网络]]。RNN 的核心特点是能够处理**数据中的时序依赖关系**，即当前的输入不仅取决于当前的输入，还取决于之前的输入和状态，就像我们在阅读时需要[[学习五元素 主动参与 工作记忆|工作记忆]]才能理解一本书的内容。 循环神经网络的问题在于处理长期依赖关系（long term depeendency）时效率很低，例如要处理一小时阅读文字。[[LSTM 长短期记忆]]是解决方案。 # 实例 ## 打比方 1. **故事书的每一页**（输入）：在 RNN 中，这相当于输入序列中的每一个时间步的输入，如文字、声音片段或视频帧。这些输入用 $xt$ 表示。 2. **大脑的记忆**（隐藏状态）：RNN 的隐藏状态 $ht$​ 就像大脑的记忆，它会记住前面的内容，以便更好地理解当前的输入。隐藏状态在每个时间步都会更新，以便保存前面的信息。 3. **连接**：当前的输入 $xt$和之前的隐藏状态 $ht−1$ 一起决定当前的隐藏状态 $ht$​，这表示了输入和记忆之间的关系。这个连接使得 RNN 能够记住序列信息。这就意味着在处理过程中神经网络会循环recurrent。 4. **反应**（输出）：RNN 的输出 $yt$​ 就像你理解故事情节之后的反应。输出是根据当前的隐藏状态 $ht$​ 计算得出的，代表对当前输入的理解和处理。 ## 应用 自然语言处理如机器翻译，文本生成、语音识别、时间序列预测等。例如，把法语句子翻译成英文时，网络中的第一个法语单词会影响后续英语单词的顺序。 # 相关内容 - [[Hopfield Network 霍普菲尔德网络]]属于一种特殊的 RNN。 # 参考资料 - [循环神经网络-维基百科](https://zh.wikipedia.org/wiki/循环神经网络) - [循环神经网络-GPT](https://chatgpt.com/share/1a1cbc80-358a-4424-ae0f-3961a6aa0480) - [what is LSTM-youtube](https://readwise.io/reader/shared/01hzvyn1z036bw2c87vnamdxa7) - 《深度学习》谢诺夫斯基 07