信息量
用于描述事件包含的信息。一件事发生的概率越小，则其信息量越大。如
事件A：“Hunt当选了国家杰出青年称号”
事件B：“Hunt当选了学生会主席”
两个事件都有可能发生，但他们所蕴含的信息是有差别的，比如，若要发生事件A，则Hunt至少满足四个条件：Hunt年龄小于四十五岁、Hunt具有博士学位、Hunt有较好的科研成果、Hunt曾在高校或科研所工作。但若只是事件B发生了，我们能知道的仅仅是：Hunt是一名学生。显然，事件A的信息量大于事件B，且事件A发生的概率P(A)要小于事件B发生的概率P(B)
则某个事件发生的概率越小，其信息量越大。
信息量与发生概率负相关，且当某件事x的发生概率为1时，其信息量应该是0，若发生概率无线小，则其信息量应该无限大，log函数能较好匹配这个条件，由此可以得出信息量的公式：
熵
一个系统是一系列事件的集合，比如我们生活中无时无刻不在发生着各种各样的事件。熵则表示这整个系统中所有可能发生事件的信息量期望。若一个系统所有可能出现的事件总和为n，每个事件xi发生的概率为P(xi)，则熵的公式为：
若将抛掷一枚硬币单独看成一个系统，则该系统由两个事件组成：抛正面（概率为p）和抛反面（概率为 1-p），则上式可写成：
相对熵（KL散度）
假设现在我让你去猜某个系统中所有事件发生的概率，对于有n的事件的系统，第i个事件真实发生的概率为 P(xi)，而你的猜测是Q(xi)，如何衡量你猜的是否准确呢？最简单的办法就是使用Q(xi) – P(xi)，其绝对值越小，则说明猜的越准。对于整个系统来说，我可以将简单的概率猜测差值转换为系统熵的差值，则公式为：
交叉熵
相对熵描述的是对同一个随机变量两种不同分布的差异大小，在机器学习中，我们需要制定一个损失函数并设法将其值减小以使得机器学习的拟合度更高，则相对熵较好匹配了这个要求。相对熵越小，则说明我们猜测的概率Q越接近真实概率P。
从相对熵的公式可以看出，若要最小化相对熵，由于真实熵是一个常数（设为M），根据吉布斯不等式可知，KL散度一定是大于0的，所以只用减小猜测的熵值即可，则将真实熵移到等号左侧。剩下的就是我们猜测的Q所产生的熵又被称作交叉熵，这和直接使用相对熵是等价的
吉布斯不等式
来源：https://blog.csdn.net/m0_37805255/article/details/95587461