深度学习笔记

为了进组开始机器学习

唉，不想练车

线性回归

线性模型

$$
\hat{y} = \mathbf{w}^\mathbf{\top}\mathbf{x} +b
$$

损失函数

样本$i$的预测值为$\hat{y}^{(i)}$，其相应的真实标签为$y^{(i)}$
$$
l^{(i)}(\mathbf{w}, b) = \frac{1}{2} \left(\hat{y}^{(i)} - y^{(i)}\right)^2
$$
总误差为
$$
L(\mathbf{w}, b) =\frac{1}{n}\sum_{i=1}^n l^{(i)}(\mathbf{w}, b) =\frac{1}{n} \sum_{i=1}^n \frac{1}{2}\left(\mathbf{w}^\top \mathbf{x}^{(i)} + b - y^{(i)}\right)^2
$$
训练参数使损失最小

小批量随机梯度下降

$$
(\mathbf{w},b) \leftarrow (\mathbf{w},b) - \frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} \partial_{(\mathbf{w},b)} l^{(i)}(\mathbf{w},b)
$$
向梯度下降的方向进行