摘要：信息量/熵/信息增益/互信息/交叉熵 本文轉自：http://www.cnblogs.com/zhangchaoyang/articles/2655785.html ，對機器學習相關的信息論基本概念做了總結，值得翻閱，不過文章中認為信息增益等同於互信息，交叉熵等同與KL距離，這個根據相關的資料來看，並不完全一樣。
