二分类导论

引言

考虑一个问题，现在我们有两种可划分的数据集,，如何去准确的划分这两个集合。

线性回归

根据上一节课的知识，我们当然可以用线性回归，这种方法会受到某些特殊样例的严重。因此是不恰当的做法。

[目标函数为$b+w_1x_1+w_2x_2L(b,w_1,w_2)$，我们希望class=2时目标函数接近-1,class=1时我们希望目标函数接近1,根据以上条件，可以求出最佳目标函数]

概率方法

1.ideal alternative

我们不使用接近程度来描述目标函数与数据集的关系，而是使用模型输出的正确率来描述目标函数与数据集的关系。

暂且，我们不知道目标函数是什么，但是我们可以列举符合上述条件的LOSS函数。

上述函数不可微因此目前的知识难以计算。

未来的SVM,感知机等能够求解。

2.生成模型

粗略地想，我们只根据贝叶斯公式，可以预测数据集内所有的数据。

但是上述公式显然不能预测非数据集的数据。

因此我们可以将数据集离散的点通过一系列方法变为连续的函数进行表示。

这里我们使用高斯分布进行拟合[你当然可以任意选择分布，一般来说高斯分布在数学上有很好的性质’使bias与variance能于一个较为均衡的状态’]

通过上图，我们可以发现不同的均会导致高斯分布的形状不同。

现在我们的任务就是求最优的,使你的高斯分布最优。

而这个最优的标准[LOSS函数]来源于最大似然估计公式的高低决定。

求最优的参数是容易的，同上一章的梯度下降即可。

3.对于贝叶斯公式引入函数后的简化

这个式子就解释了，当class 1和class 2共用的时候，它们之间的boundary会是linear的。