费诺编码的比较,香农编码

香农定理到底有什么含义？能通俗地解释一下么？

香农定理是信息论的主要内容。香农定理实际上是多个定理构成，国内似乎比较常用“香农三定理”的提法，而在国外资料很少这么提.信息论和香农定理信息论研究信息的量化，存储和传播。最初由克劳德·香农于1948年提出，他在具有里程碑意义的题为《通讯的数学原理》的论文中阐述了信号处理和通信操作（如数据压缩）的基本限制。

信息论的基本的应用主题包括无损数据压缩（例如ZIP文件），有损数据压缩（例如MP3和JPEG）和信道编码（例如用于DSL）。[头条·小宇堂-未经许可严禁转载]信息论的一个关键量是“熵”。熵是不确定性的定量描述。例如，掷骰子的可能性。信息论中还讨论的其他一些重要的量包括：互信息、信道容量、误差指数和相对熵等等。

上图：克劳德·艾尔伍德·香农-1916.4.30-2001.2.24,享年84岁。美国。专业领域：电子工程学和数学。香农定理涉及这三个部分：信道编码——主要涉及噪音下模拟信道的信道容量的定理，即香农-哈特利定理（香农-哈特利定理只描述涉及高斯噪音的模拟信道，但还有二进制信道模式的模式的对应定理这里略述）信源编码——包含涉及无损编码和有损编码的两个定理；信源采样——奈奎斯特-香农采样定理但国内资料常说的“香农三定理”是指前两个部分所涉及的的三个定理，下面主要详述这三个定理：有噪音的模拟信道编码定理（国外资料一般称“香农-哈特利定理”）注意：这个定理在国外资料中才通常被简称为“香农定理”这个定理通俗地说，就是首先表明了如果传输信息的信道存在噪音，但是也可以实现信息的传递，然后可以根据带宽等参数计算出信息传递的最大的有效速率。

这可以通俗地类比我们熟悉的语音通话，虽然在电话里面有很多电流噪音或者环境噪音，但是我们仍然可以听懂对方讲的话。因为我们用语音和语言对信息进行了双重的编码，“语音”这种编码可以在大量噪音干扰的情况下仍然能够工作，那是因为我们的声音通常有一个带宽，但噪音往往只是某一个频率的声音，不一定能够覆盖我们嗓音的全频段。

因此即便低音或高音被噪音干扰，我们仍然能听到对方在说什么。而另一方面，如果对方听不清楚，我们还可以提高嗓门来提升我们说话的“信噪比”，从而保证对方能够听清楚我们所说的话。上图：有噪信道编码定理的计算公式，可以用打电话的例子来解释一下。嗓音越高，噪音越低，嗓音越浑厚（而不是尖利，尖利的嗓音所用的频段要少一点），就越容易被听清楚。

[头条·小宇堂-未经许可严禁转载]可变长无失真信源编码定理（无损编码）通俗地说就是我们今天用到的各种无损编码算法——我们现在用的ZIP,RAR压缩，以及APE，FLAC等编码算法都属于无损压缩，采用这些算法可以在不损失原有信息的情况下减少存储这些信息的数据量。这个原理通俗点说就像是对一叠纸牌：如果是有序排列的（熵较低），例如A、2、3、4、5、6、7、8、9、J、Q、K，那么就可以用一个很很短的符号，例如“A-K”来记录这个序列所代表的信息(这也说明这个序列所含有的信息很少)；但如果这叠纸牌是乱序排列的（熵较高），那么就需要更多的符号来记录才能确保序列所传达的信息不丢失。

如果用前面语音通话的例子来说明的话，就是某人口吃说了很多重复话，诸如：“我我我我对你很很很景景景仰……”，可以无损地编码为“我对你很景仰……”，这就是无损压缩，但完全不损失需要表达的信息（其实也丢失了口吃重复数量的信息，严格地说应该编码成“我4对你很3景3仰……”）。有损信源编码定理，又称传输率-扭曲定律该定理通俗的解释可以沿用前面语音通话的例子，我们用“语音”的编码方式规避了信道噪音，此外我们还可以用“语言”编码的方式“长话短说”来让对方大概了解我要表达的意思。

例如：“我对你的景仰，犹如长江之水滔滔不绝，如黄河泛滥一发”这句话，可以压缩成“我好敬仰你”这五个字，如果打电话这么说就省时间和电话费了（例如国际或者星际长途）。但是这个压缩的过程是丢失了信息的，诸如那种“滔滔不绝”和“泛滥一发”的情态和赶脚就没有了。所以有损压缩是在设定的一个信息丢失率标准之下来寻找一个满足此要求的算法，香农告诉你你一定找得到，就这么个意思。

所以，如果你对刚才那句表达景仰的话的“保真率”要求提高一点，可以这么编码：“我对你的景仰犹如长江黄河之水泛滥不绝”。[头条·小宇堂-未经许可严禁转载]当然要保真，“成本”就高了，就得多花点时间说和更多的电话费。上图：无损（上）和有损（下）压缩的差异比较。有损压缩可以有更大的压缩率，但是还原之后损失了信息量。

　总结我们用语音通话的例子来通俗地解说香农定理，请特别注意“语音”和“语言”两种编码方式，分别对应香农定理当中的“信道编码”和“信源编码”两个不同的部分。语音是解决传输过程中噪音问题而做的编码（如果是通过心灵感应就没这个需求了）；语言编码则可以是有损或者无损压缩的，甚至是不压缩的（就让他结巴吧）。香农定理或者说香农的理论对旅行者号深空任务的成功，光盘的发明，手机通讯的可行性，互联网的发展，语言学和人类感知的研究，乃至对黑洞的理解和许多其他领域都有非常深远的影响。