KL散度

KL散度

一文总结各种信息熵

数据挖掘李新春 发表了文章 • 1 个评论 • 36 次浏览 • 2018-05-13 11:52 • 来自相关话题

在机器学习里面经常会遇到熵的概念,经常作为衡量信息多少的一种度量方式。本文就信息熵(Information Entropy)、联合熵(Joint Entropy)、条件熵(Conditional Entropy)、信息增益(Information Gain)、互信息(Mutual Information)、点互信息(Pointwise Mutual Information)、交叉熵(Cross Entropy)、KL散度(Kullback-Leibler Divergence)、相对熵(Relative Entropy)等概念进行介绍,当作一份系统的学习资料。










  查看全部
在机器学习里面经常会遇到熵的概念,经常作为衡量信息多少的一种度量方式。本文就信息熵(Information Entropy)、联合熵(Joint Entropy)、条件熵(Conditional Entropy)、信息增益(Information Gain)、互信息(Mutual Information)、点互信息(Pointwise Mutual Information)、交叉熵(Cross Entropy)、KL散度(Kullback-Leibler Divergence)、相对熵(Relative Entropy)等概念进行介绍,当作一份系统的学习资料。

1.png


2.png

 

一文总结各种信息熵

数据挖掘李新春 发表了文章 • 1 个评论 • 36 次浏览 • 2018-05-13 11:52 • 来自相关话题

在机器学习里面经常会遇到熵的概念,经常作为衡量信息多少的一种度量方式。本文就信息熵(Information Entropy)、联合熵(Joint Entropy)、条件熵(Conditional Entropy)、信息增益(Information Gain)、互信息(Mutual Information)、点互信息(Pointwise Mutual Information)、交叉熵(Cross Entropy)、KL散度(Kullback-Leibler Divergence)、相对熵(Relative Entropy)等概念进行介绍,当作一份系统的学习资料。










  查看全部
在机器学习里面经常会遇到熵的概念,经常作为衡量信息多少的一种度量方式。本文就信息熵(Information Entropy)、联合熵(Joint Entropy)、条件熵(Conditional Entropy)、信息增益(Information Gain)、互信息(Mutual Information)、点互信息(Pointwise Mutual Information)、交叉熵(Cross Entropy)、KL散度(Kullback-Leibler Divergence)、相对熵(Relative Entropy)等概念进行介绍,当作一份系统的学习资料。

1.png


2.png