A 信息熵
B 信息冗余度
C 信息
D 比特
A.1952年,香农发展并证明了信道容量的迭代算法。
B.1959年,香农首先提出了率失真函数和率失真信源编码定理,才发展成为信息率失真编码理论。
C.哈特莱用消息的可能数目的对数来度量消息中所含有的信息量,为香农创立信息论提供了思路。
D.偶然性、熵函数引进物理学为信息论的产生提供了理论前提。
A 信息量度量法来源于“信息理论”领域。
B 有时候信息理论又被称为“香农理论”。
C 香农为信息论及数字通信时代的奠基之父,他提出了信息概念、“比特”。
D 香农在论文《A Mathematical Theory of Communication 》中首次引入“比特”一词