- Objective: - Breadcrumb: 人工神经网络 - 深度学习 - [ ] [[Backpropagation 反向传播算法]] # 概念阐释 - **定义**： - 深度学习是[[machine learning 机器学习]]的一个子领域，指的是通过多层次的[[ANN 人工神经网络]]为架构，进行[[特征学习 Feature learning]]和[[模式识别 Pattern Recognition]]的算法。 - **核心**： - 深度学习的核心是“[[Deep Learning 深度学习|深度神经网络DNN]]，其特点是包含多个隐藏层，这些层能够逐步提取数据中的高层次特征。 - **与传统的机器学习的区别**： - 如决策树、支持向量机不同，深度学习模型通过自动化学习数据的多层次特征表达，能够处理复杂的非线性关系。 - 深度学习主要影响的领域有： - 图像识别 - 图像生成 - 语音识别 - 语言翻译 - 自动驾驶 - 自然语言处理 - 医疗健康 # 实例 - [[MLP 多层感知器]] - [[CNN 卷积神经网络]] - [[Transformer]] - [[RNN 循环神经网络]] # 相关内容 ## 为什么深度学习有效？ - 大数据、大模型、大算力 [[algorithm 算法]]会迭代调整内部的参数，以最大程度地减少预测与实际结果之间的错误，最直观的机器学习模型是[[Liner Regression 线性回归]]，目的是通过调节 2 个[[parameters 参数]]找出一条最拟合这些数据的直线。在 GPT-3 里，这样的参数有 1750 亿个。但是仅仅有庞大的参数并不能让模型有效的工作，单纯的调节参数会出现模型[[overfitting 过度拟合]]的问题，而[[Deep Learning 深度学习]]却解决了这一问题，方法是通过[[Backpropagation 反向传播算法]]。  ## 神经网络与深度学习的区别 1. **神经网络** 是一个具体的技术概念，指的是一种模拟生物神经网络行为的数学模型或算法。它可以是简单的单层[[perceptron 感知器|感知机]]，也可以是更复杂的多层网络。 2. **深度学习** 是神经网络的一个子领域，通常指利用 **深层神经网络（Deep Neural Networks, DNNs）** 进行学习和建模。深度学习的核心在于神经网络的层数较多（深度），因此能够从复杂和高维的数据中提取出更抽象的特征。 ### 区别点 深度学习的内涵不仅限于使用神经网络，还包括以下几个层面： - 数据预处理和增强 - 特征提取和表示 - 优化算法（如梯度下降、Adam 等） - 模型的训练和评估策略 - 分布式计算和硬件支持 **总结**： 神经网络是深度学习的核心工具，而深度学习则是一个更广义的范畴，强调将大数据、大模型和大算力结合起来，从而解决复杂的人工智能问题。 ## 人工神经网络的逆袭之旅 关联记忆 PDP平行分布式处理，连接主义、感知机、神经网络的另一种说法 卷积网络 深度学习 神经网络学习观[[ANN 人工神经网络]]兴起于上世纪 80 年代，当时叫做「并行分布式理论parallel distributed processing」简称「连接主义」。当时没人敢叫神经网络理论，研究“神经”的学者在当时要么被看作是骗子，要么被看作是疯子。2007 年，hinton 对这一领域进行了重新塑造，改名为「深度学习 Deep Learning」，2012 年[[AlexNet]]成为深度学习的爆发时刻，2022年 11 月末 ChatGPT发布，带来了一场「深度学习革命」。 ## 类比于人类学习 - 人类大脑擅长的学习方式也是先进行[[特征学习 Feature learning]]，再进行[[模式识别 Pattern Recognition]]。 # 参考资料 - [深度学习 - Wikipedia](https://zh.wikipedia.org/wiki/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0)