信息论基础（原书第2版·典藏版） [美]托马斯·M.科沃
定 价：99 元
- 作者：[美]托马斯·M.科沃 [美]乔伊·A.托马斯
- 出版时间：2024/5/1
- ISBN：9787111748663
- 出 版 社：机械工业出版社
- 中图法分类：TN911.2
- 页码：
- 纸张：胶版纸
- 版次：
- 开本：16开
本书是信息论领域中一本简明易懂的教材。主要内容包括：熵、信源、信道容量、率失真、数据压缩与编码理论和复杂度理论等方面的介绍，还对网络信息论和假设检验等进行了介绍，并且以赛马模型为出发点，将对证券市场的研究纳入了信息论的框架，从新的视角给投资组合的研究带来了全新的投资理念和研究技巧。
常销全球的现代信息论的基准教材，因其清晰的概念、简洁的阐述、富有启发性的数学推导而被称为杰作，被国内外多所名校采用为教材。
第2版前言
自从本书第1版出版以来，我们希望书中的许多方面能得到改进,如重新编排或者扩充，但是需再版的限制并不允许我们在已经出版的书中实现这样的愿望。而今在出新版之际，我们终于有机会对原书做些改变，增加一些习题，同时，讨论一些在第1版中忽略的专题。
本书主要的变化包括：各章重新编排，使本书更易于教学；增加了200多个新习题。在某些专题中，我们也增加了一些素材，如在普适性投资组合理论、通用信源编码、高斯反馈信道容量、网络信息论等方面，并且阐述了数据压缩和信道容量的对偶性。另外，本书还新增加了一章，同时对原书中大量的证明过程进行简化，而且更新了参考文献和历史回顾点评。
本书可以分成两个学期学习。建议第一学期学习第1～9章，包括渐近均分性、数据压缩、信道容量，以及高斯信道等。第二学期学习余下的几章，包括率失真理论、型方法、科尔莫戈罗夫复杂度、网络信息论、通用信源编码和投资组合理论。如果只开一个学期的课，建议将率失真、科尔莫戈罗夫复杂度和网络信息论加入第一学期的教学中，其中后两者只需各上一节课。
自第1版以来，信息论迎来了它的50岁生日（香农的领域开创性文章50周年纪念），源自信息论的许多思想已经广泛应用于科学技术的众多问题，如生物信息学、网络搜索、无线通信、视频压缩以及其他等。信息论的应用是无止境的，然而其完美的数学理论始终是该领域最引人注目的地方。我们希望借此书给大家带来某些共识，使得大家坚信在涉及数学、物理学、统计学和工程学的交叉领域中，信息论是最有趣的领域之一。
Thomas M.Cover
Joy A.Thomas
Palo Alto, California
2006年1月
第1版前言
本书是一本简明易懂的信息论教材。正如爱因斯坦所说：“凡事应该尽可能使其简单到不能再简单为止。”虽然我们没有深入考证过该引语的来源（据说最初是在幸运蛋卷中发现的），但我们自始至终都将这种观点贯穿到本书的写作中。信息论中的确有这样一些关键的思想和技巧，一旦掌握了它们，不仅使信息论的主题简明，而且在处理新问题时提供重要的直觉。
本书来自使用了十多年的信息论讲义,原讲义是信息论课程的高年级本科生和一年级研究生两学期用的教材。本书打算作为通信理论、计算机科学和统计学专业学生学习信息论的教材。
信息论中有两个简明要点。第一，熵与互信息这样的特殊量是为了解答基本问题而产生的。例如，熵是随机变量的最小描述复杂度，互信息是度量在噪声背景下的通信速率。另外，我们在以后还会提到，互信息相当于已知边信息条件下财富的双倍增长。第二，回答信息论问题的答案具有自然的代数结构。例如，熵具有链式法则，因而，熵和互信息也是相关的。因此，数据压缩和通信中的问题得到广泛的解释。我们都有这样的感受，当研究某个问题时，往往历经大量的代数运算推理得到了结果，但此时没有真正了解问题的全貌，最终是通过反复观察结果，才对整个问题有完整、明确的认识。所以，对一个问题的全面理解，不是靠推理，而是靠对结果的观察。要更具体地说明这一点，物理学中的牛顿三大定律和薛定谔波动方程也许是最合适的例子。谁曾预见过薛定谔波动方程后来会有如此令人敬畏的哲学解释呢？
在本书中，我们常会在着眼于问题之前，先了解一下答案的性质。比如第2章中，我们定义熵、相对熵和互信息，研究它们之间的关系，再对这些关系做一点解释，由此揭示如何融会贯通地使用各式各样的方法解决实际问题。同理，我们顺便探讨热力学第二定律的含义。熵总是增加吗？答案既肯定也否定。这种结果会令专家感兴趣，但初学者或许认为这是必然的而不会深入考虑。
在实际教学中，教师往往会加入一些自己的见解。事实上，寻找无人知道的证明或者有所创新的结果是一件很愉快的事情。如果有人将新的思想和已经证明的内容在课堂上讲解给学生，那么不仅学生会积极反馈“对，对，对”，而且会大大地提升教授该课程的乐趣。我们正是这样从研究本教材的许多新想法中获得乐趣的。
本书加入的新素材实例包括信息论与博弈之间的关系，马尔可夫链背景下热力学第二定律的普遍性问题，信道容量定理的联合典型性证明，赫夫曼码的竞争最优性，以及关于最大熵谱密度估计的伯格（Burg）定理的证明。科尔莫戈罗夫复杂度这一章也是本书的独到之处。而将费希尔信息、互信息、中心极限定理以及布伦-闵可夫斯基不等式与熵幂不等式联系在一起，也是我们引以为豪之处。令我们感到惊讶的是，关于行列式不等式的许多经典结论，当利用信息论不等式后会很容易得到证明。
自从香农的奠基性论文面世以来，尽管信息论已有了相当大的发展，但我们还是要努力强调它的连贯性。虽然香农创立信息论时受到通信理论中问题的启发，然而我们认为信息论是一门独立的学科，可应用于通信理论和统计学中。我们将信息论作为一个学科领域从通信理论、概率论和统计学的背景中独立出来，因为明显不可能从这些学科中获得难以理解的信息概念。
由于本书中绝大多数结论以定理和证明的形式给出，所以，我们期望通过对这些定理的巧妙证明能说明这些结论的完美性。一般来讲，我们在介绍问题之前先描述问题的解的性质，而这些很有趣的性质会使接下来的证明顺理成章。
使用不等式串，中间不加任何文字，最后直接加以解释，是我们在表述方式上的一项创新。希望读者学习我们所给的证明过程达到一定数量时，在没有任何解释的情况下就能理解其中的大部分步骤，并自己给出所需的解释。这些不等式串好比模拟测试题，读者可以通过它们确认自己是否已掌握证明那些重要定理的知识。这些证明过程的自然流程是如此引人注目，以至于导致我们轻视了写作技巧中的某条重要原则。由于没有多余的话，因而突出了思路的逻辑性与主题思想。我们希望当读者阅读完本书后，能够与我们共同分享我们所推崇的，具有优美、简洁和自然风格的信息论。
本书广泛使用弱的典型序列的方法，此概念可以追溯到香农1948年的创造性工作，而它真正得到发展是在20世纪70年代初期。其中的主要思想就是所谓的渐近均分性（AEP），或许可以粗略地说成“几乎一切事情都是等可能的”。
第2章阐述了熵、相对熵和互信息之间的基本代数关系。渐近均分性是第3章重中之重的内容，这也使我们将随机过程和数据压缩的熵率分别放在第4章和第5章中论述。第6章介绍博弈，研究了数据压缩的对偶性和财富的增长率。
可作为对信息论进行理性思考基础的科尔莫戈罗夫复杂度，拥有着巨大的成果，放在第14章中论述。我们的目标是寻找一个通用的最短描述，而不是平均意义下的次佳描述。的确存在这样的普遍性概念用来刻画一个对象的复杂度。该章也论述了神奇数Ω，揭示数学上的不少奥秘，这是图灵机停止运转概率的推广。
第7章论述信道容量定理。第8章叙述微分熵的必需知识,它们是将早期容量定理推广到连续噪声信道的基础。基本的高斯信道容量问题在第9章中论述。
第11章阐述信息论和统计学之间的关系，20世纪50年代初期库尔贝克(Kullback)首次对此进行了研究，此后进展不大。由于率失真理论比无噪声数据压缩理论需要更多的背景知识，因而将其放置在正文中比较靠后的第10章。
网络信息论是个大的主题，安排在第15章，主要研究的是在噪声和干扰情形下的同时可达的信息流。有许多新的思想在网络信息论中开始活跃起来，其主要新要素有干扰和反馈。第16章讲述股票市场，这是第6章所讨论的博弈的推广，也再次表明了信息论和博弈之间的紧密联系。
第17章讲述信息论中的不等式，我们借此一隅把散布于全书中的有趣不等式重新收拢在一个新的框架中，再加上一些关于随机抽取子集熵率的有趣新不等式。集合和的体积的布伦-闵可夫斯基不等式，独立随机变量之和的有效方差的熵幂不等式以及费希尔信息不等式之间的美妙关系也将在此章中得到详尽的阐述。
本书力求推理严密，因此对数学的要求相当高，要求读者至少学过一学期的概率论课程且有扎实的数学背景，大致为本科高年级或研究生一年级水平。尽管如此，我们还是努力避免使用测度论。因为了解它只对第16章中的遍历过程的AEP的证明过程起到简化作用。这符合我们的观点，那就是信息论基础与技巧不同，后者才需要将所有推广都写进去。
本书的主体是第2、3、4、5、7、8、9、10、11和15章，它们自成体系，读懂了它们就可以对信息论有很好的理解。但在我们看来，第14章的科尔莫戈罗夫复杂度是深入理解信息论所需的知识。余下的几章，从博弈到不等式，目的是使主题更加连贯和完美。
任何教程都有它的第一讲，目的是给出其主要思想的简短预览和概述。本书的第1章就是为这个目的而设置的。
Thomas M.Cover
Joy A.Thomas
Palo Alto, California
1990年6月
托马斯·M. 科沃（Thomas M. Cover） 美国信息理论家，斯坦福大学电气工程与统计系教授。他的研究兴趣非常广泛，在信息论和数理统计、数据压缩、模式识别等领域做出了显著贡献。1990年，他获得了IEEE信息论学会颁发的通信理论领域最高奖——克劳德·E. 香农奖。1997年，他获得了IEEE颁发的理查德·W. 汉明奖章，以表彰他在信息论、统计学和模式识别方面的基础工作。他曾担任IEEE信息论学会主席，是美国国家工程院院士、美国艺术与科学学院院士，美国科学促进会、数理统计学会和IEEE会士。他于2012 年 3 月逝世，享年 73 岁。
乔伊·A. 托马斯（Joy A. Thomas） 谷歌数据科学家，因其在信息论方面的工作而闻名。他在获得斯坦福大学博士学位后，曾先后在IBM T. J. Watson研究中心和谷歌公司工作。他于2020 年 9 月逝世，享年 57 岁。
目 录
译者序
第2版前言
第1版前言
第2版致谢
第1版致谢
第1章 绪论与概览
第2章 熵、相对熵与互信息
2.1 熵
2.2 联合熵与条件熵
2.3 相对熵与互信息
2.4 熵与互信息的关系
2.5 熵、相对熵与互信息的链式法则
2.6 Jensen不等式及其结果
2.7 对数和不等式及其应用
2.8 数据处理不等式
2.9 充分统计量
2.10 费诺不等式
要点
习题
历史回顾
第3章 渐近均分性
3.1 渐近均分性定理
3.2 AEP的推论：数据压缩
3.3 高概率集与典型集
要点
习题
历史回顾
第4章 随机过程的熵率
4.1 马尔可夫链
4.2 熵率
4.3 例子：加权图上随机游动的熵率
4.4 热力学第二定律
4.5 马尔可夫链的函数
要点
习题
历史回顾
第5章 数据压缩
5.1 有关编码的几个例子
5.2 Kraft不等式
5.3 最优码
5.4 最优码长的界
5.5 唯一可译码的Kraft不等式
5.6 赫夫曼码
5.7 有关赫夫曼码的评论
5.8 赫夫曼码的最优性
5.9 Shannon-Fano-Elias编码
5.10 香农码的竞争最优性
5.11 由均匀硬币投掷生成离散分布
要点
习题
历史回顾
第6章 博弈与数据压缩
6.1 赛马
6.2 博弈与边信息
6.3 相依的赛马及其熵率
6.4 英文的熵
6.5 数据压缩与博弈
6.6 英文的熵的博弈估计
要点
习题
历史回顾
第7章 信道容量
7.1 信道容量的几个例子
7.1.1 无噪声二元信道
7.1.2 无重叠输出的有噪声信道
7.1.3 有噪声的打字机信道
7.1.4 二元对称信道
7.1.5 二元擦除信道
7.2 对称信道
7.3 信道容量的性质
7.4 信道编码定理预览
7.5 定义
7.6 联合典型序列
7.7 信道编码定理
7.8 零误差码
7.9 费诺不等式与编码定理的逆定理
7.10 信道编码定理的逆定理中的等式
7.11 汉明码
7.12 反馈容量
7.13 信源信道分离定理
要点
习题
历史回顾
第8章 微分熵
8.1 定义
8.2 连续随机变量的AEP
8.3 微分熵与离散熵的关系
8.4 联合微分熵与条件微分熵
8.5 相对熵与互信息
8.6 微分熵、相对熵以及互信息的性质
要点
习题
历史回顾
第9章 高斯信道
9.1 高斯信道：定义
9.2 高斯信道编码定理的逆定理
9.3 带宽有限信道
9.4 并联高斯信道
9.5 高斯彩色噪声信道
9.6 带反馈的高斯信道
要点
习题
历史回顾
第10章 率失真理论
10.1 量化
10.2 定义
10.3 率失真函数的计算
10.3.1 二元信源
10.3.2 高斯信源
10.3.3 独立高斯随机变量的同步描述
10.4 率失真定理的逆定理
10.5 率失真函数的可达性
10.6 强典型序列与率失真
10.7 率失真函数的特征
10.8 信道容量与率失真函数的计算
要点
习题
历史回顾
第11章 信息论与统计学
11.1 型方法
11.2 大数定律
11.3 通用信源编码
11.4 大偏差理论
11.5 Sanov定理的几个例子
11.6 条件极限定理
11.7 假设检验
11.8 Chernoff-Stein引理
11.9 Chernoff信息
11.10 费希尔信息与Cramér-Rao不等式
要点
习题
历史回顾
第12章 最大熵
12.1 最大熵分布
12.2 几个例子
12.3 奇异最大熵问题
12.4 谱估计
12.5 高斯过程的熵率
12.6 Burg最大熵定理
要点
习题
历史回顾
第13章 通用信源编码
13.1 通用码与信道容量
13.2 二元序列的通用编码
13.3 算术编码
13.4 Lempel-Ziv编码
13.4.1 带滑动窗口的Lempel-Ziv算法
13.4.2 树结构Lempel-Ziv算法
13.5 Lempel-Ziv算法的最优性
13.5.1 带滑动窗口的Lempel-Ziv算法
13.5.2 树结构Lempel-Ziv压缩的最优性
要点
习题
历史回顾
第14章 科尔莫戈罗夫复杂度
14.1 计算模型
14.2 科尔莫戈罗夫复杂度：定义与几个例子
14.3 科尔莫戈罗夫复杂度与熵
14.4 整数的科尔莫戈罗夫复杂度
14.5 算法随机序列与不可压缩序列
14.6 普适概率
14.7 科尔莫戈罗夫复杂度
14.8 Ω
14.9 万能博弈
14.10 奥卡姆剃刀
14.11 科尔莫戈罗夫复杂度与普适概率
14.12 科尔莫戈罗夫充分统计量
14.13 最短描述长度准则
要点
习题
历史回顾
第15章 网络信息论
15.1 高斯多用户信道
15.1.1 单用户高斯信道
15.1.2 m个用户的高斯多接入信道
15.1.3 高斯广播
书单推荐![信息论基础（原书第2版·典藏版） [美]托马斯·M.科沃](/uploadfile/202406/9787111748663.jpg)
