|

Fisher线性鉴别

fishter原理费歇(FISHER)判别思想是投影,使多维问题简化为一维问题来处理。选择一个适当的投影轴,使所有的样品点都投影到这个轴上得到一个投影值。对这个投影轴的方向的要求是:使每一类内的投影值所形成的类内离差尽可能小,而不同类间的投影值所形成的类间离差尽可能大。 目标寻找某一w,使得D={(x_i, y_i}投影后,类别内类距离最小,类别之间距离最大。 严格来说LDA与Fisher判别分析稍有不同,前者假设了各类样本的协方差矩阵相同且满秩。

Surika
Surika
0 min read
|

为什么信息熵要定义成log的形式

如果我们有俩个不相关的事件x和y,那么我们观察到的俩个事件同时发生时获得的信息应该等于观察到的事件各自发生时获得的信息之和,即:h(x,y) = h(x) + h(y)由于x,y是俩个不相关的事件,那么满足p(x,y) = p(x)*p(y).根据上面推导,我们很容易看出h(x)一定与p(x)的对数有关(因为只有对数形式的真数相乘之后,能够对应对数的相加形式,可以试试)。因此我们有信息量公式如下: 作者:忆臻链接:https://www.zhihu.com/question/ ...

Surika
Surika
1 min read