决策树 & 信息论基础

认识决策树

决策树思想的来源非常朴素, 程序设计中的条件分支结构就是 if-then 结构, 最早的决策树就是利用这类结构分割数据的一种分类学习方法.

决策树 demo.png

信息论

创始人 (-.-):
信息论.png

信息论单位:bit(比特)

信息熵: 计算数据的代价?? 单位为比特