神经网络介绍

关于神经网络最基础的知识点

  • 关于BP反向传递的知识点：BP原理
  • 关于CNN卷积神经网络的知识点：CNN原理
  • 关于RNN循环神经网络的知识点：RNN原理
  • 关于LSTM长短期记忆网络的知识点：LSTM原理

参考：

神经网络

传统神经网络的主要结构

（输入层 -> 隐含层 -> 输出层）每一层网络有多个神经元，上一层的神经元通过激活函数映射到下一层神经元，每个神经元之间有相对应的权值，输出即为我们的分类类别

  • 神经元
  • 感知机
  • 学习算法（如BP反向传播算法）

常见神经网络模型

  • Boltzmann机：层内+层间都相连

  • 受限Boltzmann机（RBM）：层间相连，层间不连

  • RBF（Radio Basis Function）径向基函数网络

    • 单隐层前馈神经网络
    • 径向基函数作为激活函数
    • 输出层是对隐层神经元输出的线性组合

  • ART（Adaptive Resonance Theory）自适应谐振理论网络

    • 竞争型学习
    • 组成：比较层+识别层+识别层阈值+重置模块
    • 可进行增量学习或在线学习

  • SOM（Self-Organizing Map）自组织映射网络

    • 竞争型学习
    • 无监督神经网络
    • 可将高维数据映射到低维空间，同时保持高维的拓扑结构

  • 结构自适应网络

  • 在训练过程中找到最符合数据特点的网络结构

  • RNN（Recurrent Neural Networks）递归（循环）神经网络

    • 允许网络出现环，反馈调节
    • 可用于时间序列建模，在时间深度上的深度学习
    • 由于时间轴上的梯度发散，因此难以学习远距离的影响
      为解决上述问题，发展出了长短时记忆单元LSTM（Long-Short Term Memory），通过门的开关实现时间上的记忆功能，防止梯度发散

  • 深度学习：深度神经网络模型，一般指网络层数在三层或三层以上的神经网络结构，如卷积神经网络CNN（Convolutional Neural Networks）

意义

  • 特征提取的高效性
    不需要像机器学习算法一样前期做十分复杂的特征工程以避免发生欠拟合或过拟合现象

  • 数据格式的简易性
    不需要做过多的数据处理

  • 参数数目的少量性
    对于调参背后的理论知识不需要过于精通，对于最简单的浅层神经网络来说，参数数目只有初始赋予的权重和偏置项