pytorch中的log_softmax

softmax

softmax是用于归一化的函数，其作用是让所有的值都限制在范围0～1内。

其公式为
$$
\begin{gathe

梯度校验

梯度校验是一种判断梯度（导数）是否出错的方法，通常我们会通过反向传播的方法来计算梯度，并通过梯度校验的方式来判断最终的梯度是否正确。

如何计算梯度

除了神经网络的反向传播之外，我们可以通过类似于极限的方式来取近似的梯度，在数学中对于$x$在$x_0$处的梯度有如下定义
$

神经网络的反向传播

如何传播

反向传播的公式如下
$$
\begin{gather}
\delta^{(L)}=a^{(L)}-y \\
\delta^{(n)}=(\Theta^{(n)})^T\delta^{(n+1)}.g’(