- Objective: - Breadcrumb: # 概念阐释 熵（entropy）是接收的每条**消息**中所包含的**信息**的平均量。 > 熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大 H(X) = - ∑ P(x) log P(x) # 实例 H = n log s - s 为语言中可用的符号总数，宝箱总数，核心单词 - n 为讯息中的符号数，找到宝箱的提升，“小短语” - H 为讯息量，提示的总数量，假如有s个宝箱，就需要n log s条提示。 这个公式的意思是说，在一门语言中，可用的语言符号越少，冗余的信息（**n**）就越多。当熵（**H**）越大，说明信息的**不确定性**、随机性或冗余越大。 > 贝尔实验室的工程师拉尔夫·哈特利在其论文《信息的传输》中，甚至提出了一个看上去有点相关的公式：H =n log s，其中H表示讯息的信息量，n表示讯息中的符号数，而s则表示语言中可用符号的总数。哈特利的后辈克劳德·香农，后来就是沿着这个方向继续研究，并应用自己的理论对英语的冗余度进行了精确度量。 # 相关内容 # 参考资料 - [信息熵-Wikipedia](https://zh.wikipedia.org/wiki/%E7%86%B5_(%E4%BF%A1%E6%81%AF%E8%AE%BA)) - log：对数 10²=100,那么100 log₁₀=2