里,香农首次提出了“信息熵”的概念。
\n
他借鉴了热力学中关于熵的概念,把信息中排除了冗余信息后的平均信息量称为“信息熵”。
\n
在热力学中,熵表示微观系统可能的状态数量,或者是混乱程度。
\n
而信息熵表示各个可能事件发生的概率。
\n
在论文中,香农给出了信息熵的数学表达公式:h(x)=-∑plogp(p表示事件发生的概率)。
\n
至此,对于信息的量化度量问题得到解决,科学家们以后就可以用定量的方式来研究信息。
\n
这时,可以给信息下一个较为严格的定义:
\n
“信息是用来消除不确定性的东西,不确定性越大,信息量越大。”
\n
但是这里要注意一个问题。
\n
信息熵是建立在计算机通信、01编码等基础上的严格数学概念。
\n
它是专门为了计算机而诞生的一门理论科学。
\n
在具体操作和计算层面上,信息熵可以理解为存储信息所需的最小比特数。
\n
而真实世界的信息熵计算是非常非常复杂的,甚至根本没有办法计算。
\n
一般都是通过信息熵的变化量来解决问题。
\n
此外,同样的一句话,可能不同的人从这句话中得到的信息量都是不一样的。
\n
比如同样一张脸,有人得出“美”的信息,有人却得出“丑”的信息。
\n
这种带有联想和个人经验性质的抽象信息,不是香农提出的信息熵所包含的范围。
本章未完,请点击下一页继续阅读! 第3页 / 共10页