关于 logit 回归和 SVM 不正确的是（）

关于 logit 回归和 SVM 不正确的是（）

感想

好久没有学习统计学习方法，做这些题目感觉很棘手，有很多概念也是第一次遇到，我这里借此整理一下。

problem

关于 logit 回归和 SVM 不正确的是（）

A. Logit回归目标函数是最小化后验概率.

B. Logit回归可以用于预测事件发生概率的大小

C. SVM目标是结构风险最小化

D. SVM可以有效避免模型过拟合

答案：A

analysis

A. Logit回归本质上是一种根据样本对权值进行极大似然估计的方法，而后验概率正比于先验概率和似然函数的乘积。logit仅仅是最大化似然函数，并没有最大化后验概率，更谈不上最小化后验概率。A错误

B. Logit回归的输出就是样本属于正类别的几率，可以计算出概率，正确

C. SVM的目标是找到使得训练数据尽可能分开且分类间隔最大的超平面，应该属于结构风险最小化.

D. SVM可以通过正则化系数控制模型的复杂度，避免过拟合。

经验风险最小化

损失函数越小，模型就越好，接下来用期望风险来描述模型在整个数据集上的损失，假设我们已经得到了数据的概率测度P(X,Y),那么就可以计算损失函数的期望即期望风险：

这里假设数据集包含了所有可能的数据，即P(x，y)是已知的，显然这是不可能的，我们只能尽量多的获取数据集中的数据，但是不可能获得所有输入空间中的数据。有了期望风险学习的目标就确定了，即找到使期望风险最小的模型，但是就像前面说明的，全部数据的分布是未知的，那么求解期望风险的问题就是一个病态问题。那该怎么办呢，虽然我么不知道数据集的概率测度，但是我们拥有给定的一定的独立同分布的样本，因此，我们可以用模型f(x)在这个给定的样本集上的平均损失最小化来代替无法求得得期望风险最小化。

如果数据是独立同分布，因此就不用考虑数据集的概率密度了，当然，这也会造成一定的损失，但是结果是可信的。

假设给定的数据集为：

经验风险或经验损失函数为：

使用经验风险泛函最小的函数来逼近期望风险泛函最小的函数，这一原则成为经验风险最小化归纳原则(ERM原则)。

根据大数定律，当样本数趋于无穷大时，经验风险趋于期望风险。但是，在实际应用中，训练样本的个数是有限的，甚至还会很少，所以使用经验风险逼近期望风险的效果就不好了。

对于小样本问题，经验风险效果并不理想，因为经验风险最小化容易带来过拟合现象。过拟合现象其实就是模型的选择太在意训练误差了，反而导致预测误差随着训练误差减小而增大，造成训练结果不理想。

结构风险最小化

为了解决经验风险最小化逼近引发的一系列问题，vpnik等几位大牛发展了现代的统计学习理论，提出了结构风险最小化，更加适合解决小样本问题，并且提出了寻找结构风险最小化的方法，这一套理论发展出了有名的分类器：基于VC维理论和结构风险最小化的支持向量机SVM，它能够更快更迅速的解决小样本问题，在大样本集上也有一些基于稀疏矩阵的改进方法，成为2000年来的研究热点之一。

VC维概念：

函数集Q(f)的VC维是指能够被集合中的函数以所有可能的2^h种方式，分成两类的样本的最大数目h。另一个说法是：假如存在一个有h个样本的样本集能够被函数集中的函数按照所有可能的2^h方式分成两类，则称该函数集能把样本为h的样本集打散。VC维就是h的最大值，对于h+1，函数集就无法打乱了。对于线性函数，其VC维很简单，就是函数维数+1。

定义N(f)代表函数集Q(f)中的函数能够把给定的样本分成多少种类，称H(f)=ln(N(f))为随机熵，描述了函数集在给定数据上的多样性，引入生长函数G(n)=ln(N(f))，则生长函数与VC维的关系为：

G(h)=hln2

G(h+1)小于(h+1)ln2

即生长函数或者是线性的，或者以对数为上界。如果函数集的生长函数是线性的，则函数集的VC维是无穷大的，因为函数集能够打散的数据集数目可以无限大，反之，如果生长函数是以参数h的对数函数为界，则函数集的VC维就是h。

VC衡量了一个函数集的复杂程度，VC维越大，函数集越复杂，虽然函数打散的样本数增加了，但是计算函数的复杂度却增加了，反而不能得到好的结果(引起过拟合)，VC维越小，函数集越简单，求解速度快而且方便。支持向量机只关注对偶公式中参数不为0的支持向量的那些样本，因此VC维很小。奥卡姆剃刀原理：在所有可能选择的模型中，能够很好地解释已知数据并且十分简单的才是最好的模型。

经验风险和期望风险的误差是依概率有界的，通过一系列复杂的公式推导我们得到如下公式：

n为样本数，h为VC维， 不等式右边第一项为经验风险，第二项为置信风险，是一个减函数，整个公示反映了经验风险和真实误差的差距上界，表征了根据经验风险最小化原则得到的模型的泛化能力。称为泛化误差上界。

上述公示表明：当样本数较大时，n/h很大，置信范围就会很小，经验风险最小化接近实际最优解，而当n/h比较小时，置信范围就会很大，经验风险最小化泛化能力就差。

结构风险=经验风险+置信风险

参考文献

[1].牛客网.损失函数 -经验风险最小化-结构风险最小化.http://360doc.com/content/17/0623/13/10408243_665793832.shtml

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。