机器学习：朴素贝叶斯法

朴素贝叶斯法重要是利用了贝叶斯公式：P(Y|X)=P(X,Y)/P(X)，P(X|Y)=P(X,Y)/P(Y)。假定训练集与P(X,Y)同分布，通过训练集确定P(Y),P(Y|X），从而求得P(X,Y)。然后利用P(X),P(X,Y)求P(Y|X)。非常简单的一个思路，因为他是先求P(X,Y)，所以朴素贝叶斯法可以看做是生成模型。

如果输入是多维特征向量，朴素贝叶斯法假设特征之间是条件独立的，所以大大简化了问题。最后输出的Y，就是在样本中使得P(Yk)*P(X1|Yk)*P(X2|Y)...*P(Xn|Yk)/P(X)概率最大的那个类，因为P(X)输入相同都相同可以省去，简化为求P(Yk)*P(X1|Yk)..P(Xn|Yk)最大。Y对应着若干分类通过样本直接计算得出，P(X1|Yk)也可以由样本直接得出。

当然有可能出现P(X|Y)为零的情况，为避免这种特殊情况会额外增加一个大于零的参数（拉普拉斯平滑），这个参数由人为指定，目的就是避免样本中概率计算出0的情况。