一文总结各种信息熵

在机器学习里面经常会遇到熵的概念,经常作为衡量信息多少的一种度量方式。本文就信息熵(Information Entropy)、联合熵(Joint Entropy)、条件熵(Conditional Entropy)、信息增益(Information Gain)、互信息(Mutual Information)、点互信息(Pointwise Mutual Information)、交叉熵(Cross Entropy)、KL散度(Kullback-Leibler Divergence)、相对熵(Relative Entropy)等概念进行介绍,当作一份系统的学习资料。

1.png


2.png

 

0 个评论

要回复文章请先登录注册