线性回归

导论

计算机基础算法为了解决问题而写出。

机器学习算法不同于计算机基础算法。

机器学习算法通过数据集与合适的算法，生成解决问题的算法。

一般来说，机器学习算法+数据集经过一系列‘黑箱’生成与‘计算机基础算法’效果等价的算法。

线性回归简论

回归[机器学习]需要四要素

1.数据集

2.合适的模型[你如何用数学语言去表达你的模型，如何评估参数的好坏]

3.一个好的函数

一个好的函数[一般特指’损失函数‘->’损失函数’你的参数调节起到指导作用，假设我们的参数由$A->A^A->A^$的变化是合理的。]

4.一个正确的求解最佳参数的算法[对于回归，使用梯度下降算法]

①.梯度下降算法流程

首先有了损失函数[以下我们简称loss方程]:

$L(w,b)=\sum{i=1}^{N}(\hat y^n-(b+w*x{cp}^{n}))^2$

[loss方程只要满足合理的条件即可，不一定长上面这样，不过从数学看，上面的公式非常严格，规范，合理]

我们考虑找到一个算法，使LOSS FUNCTION最小[根据规范定义，以及你的函数定义，其值越小代表你的参数越优]

也就是求$\arg\min\sum{i=1}^{N}(\hat y^n-(b+w*x{cp}^{n}))^2$时，w与b的值。

首先，我们随机取一个初始点。

根据LOSS FUNCTION可以知道其只受影响，

分别求对的偏导，有

为了向更低的点走去，显然，当偏导为正时向其相反方向走去，当偏导为负时，向相同方向走去。

也就是当中的等的变化，虽然的变化没有写出，但是与同理。

最后经过步，最终得到稳定的，即我们最终结果。

②.梯度下降算法原理

1.算法数学证明

2.复杂度高的模型测试集正确率高的原因

形象地考虑,5次方程可以表达4,3,2,1次方程,只需将5次方程的某些常数项取0即可。

因此5次方程所能表达的范围越大于4,3,2,1次方程。

所以复杂度高的模型在测试集上有很好的表达能力。

③.线性回归/梯度下降优化

1.梯度下降引入学习率

2.LOSS方程正则化

机器学习必知必会：正则化 - 知乎 (zhihu.com)

线性回归误差分析

误差可以源于于造成。

意味着结果数据间的分布情况，越分散[多样性，分布形态发散]就越大。

意味着结果数据与期望数据之间的误差，越大意味着这两个数据集之间差距也就越大[即使它们的分布形态可能相同]