神经网络的基本概念神经网络的本质归纳 _知识分享

1.神经网络基础
定义，人工神经网络，简称神经网络，在计算机领域中，是一种模拟生物神经网络的结构功能和计算的模型，目的是模拟大脑某些机理与机制，实现某个方面的功能，如图像的识别，语音的识别等。
神经网络的发展
1958 年，第一次兴起，以单层的神经网络为主。代表技术，感知机，模拟神经元的模型里，单层的神经网络提出，具有了神经网络的雏形。可以做一些简单的线性问题。
1986 年，第二次兴起，出现了多层的神经网络。出现了多层的神经网络，可以分析和解决更加复杂的问题，反向传播算法的出现，加速了网络结构参数训练，使得网络实际可用。应用场景，字符机器识别，下国际象棋。
2012 年，第三次兴起，以卷积神经网络，循环神经网络为代表。卷积神经网络和循环神经网络的出现，使用多层卷积操作处理分析图像，取得了比传统机器学习更加高效的结果。使用循环神经网络，使用上下文环境处理世界序列函数，使得语音、文本等多媒体信息能被处理和分析，使用场景图像智能处理，语音识别，自然语言的处理等。
2.神经网络的组成
神经元，负责计算和处理输入的信号。
网络的连接，负责将不同的神经元连接起来，形成神经网络。连接两团各为一个神经元，一个神经元的输出为另一个神经元的神射手，网络连接有加权参数。
演进的过程，

单层神经网络，一层的输入单元，只负责数据的传输，不做计算，一层的输出单元，对前面输入单元进行计算。

文章插图

两层神经网络，输入单元和输出单元增加隐藏层，输入层与输出层的节点数往往固定，隐藏层的节点可以自由指定。

文章插图

多层神经网络，随着隐藏层的增加，结构负责即为多层神经网络。

文章插图

卷积神经网络/循环神经网络。

3.常用的激活函数
激活函数对计算结果进行非线性变换。
Sigmoid 激活函数，讲一个实数映射到（0，1）区间，可以用来二分类。

文章插图
Tanh 激活函数，取值[-1,1],在特征相差明显时效果会很好，在循环过程中不断扩大特征效果。

文章插图
ReLu 激活函数，目前广泛用于激活函数，快速收敛，计算效率高。

文章插图
Leaky ReLu 激活函数，快速收敛，计算效率高，正趋于内不会饱和。

文章插图
偏执值，一个阈值，用于度量神经元产生正负激励的难易程度，输入信号求和后大于阈值输出为 0，否则输出为 1 。
3.神经网络的训练过程
主要流程，定义网络结构，随机生成网络连接权重参数，针对训练样例计算预测值，根据实际值与预测差异更新网络参数，训练多轮。
损失函数
损失值，神经网络训练过程中的预测值与实际期望值之间的差异。
损失值越大，模型越不精准，神经网络的训练目标就是减少损失值，计算损失值的函数即为损失函数。
常用损失函数
均方差损失函数，简单易理解，但网络层数深时训练收敛速度变慢。
交叉熵损失函数，误差大事，网络参数更新快。
反向传播算法
根据输出层和隐藏层之间的计算关系，得到损失函数和隐藏层参数间的偏导数。根据输出层的误差，以及当前训练用的输入数据，计算获得网络参数的更新值。
根据输出层与输入层之间的计算关系，得到损失函数和隐藏层参数间的偏导数。根据输出层误差，以及当前训练用的输入数据，计算获得网络参数和更新值。
梯度消失问题
梯度消失，随着神经网络层数的增多，损失函数对网络参数的偏导数值越小，导致网络参数趋向于不再更新，神经网络芯片不收敛，常见于 Sigmoid、Tanh 函数，可以使用 ReLu 环节梯度消失问题。
常见的神经网络及适用场景

多层感知机，含有多个隐藏层，使用 Sigmoid，Tanh 激活函数，支持反向传播适用于分类与回归问题。

神经网络的基本概念 神经网络的本质归纳

神经网络的基本概念神经网络的本质归纳