信息论中,为什么熵越大信息量越小?
问题描述：
信息论中,为什么熵越大信息量越小?
据说:在信息论中,熵可用作某事件不确定度的量度.信息量越大,体系结构越规则,功能越完善,熵就越小.
但是:一个东西越混乱,描述它所需的信息量不是越大吗?为什么不是这样?例如一个新硬盘和装得乱七八糟的硬盘,哪个更混乱?哪个信息量大?我是个外行,你可以换个例子
到底信息量和混乱度是用什么衡量的?为什么那样衡量?
答
熵是描述系统混乱的量,熵越大说明系统越混乱,携带的信息就越少,熵越小说明系统越有序,携带的信息越多.你要现确定系统,再来描述.你的例子,可以这样理解,同样大的硬盘,熵越大什么坏了的硬盘越多,他可以承载的信息越少,熵越小意味着坏掉的硬盘越少,可以承载的信息量越大.