本书是英国剑桥大学卡文迪许实验室的著名学者David J.C.MacKay博士总结多年教学经验和科研成果，于2003年推出的一部力作。本书作者不仅透彻地论述了传统信息论的内容和最新编码算法，而且以高度的学科驾驭能力，匠心独具地在一个统一框架下讨论了贝叶斯数据建模、蒙特卡罗方法、聚类算法、神经网络等属于机器学习和推理领域的主题，从而很好地将诸多学科的技术内涵融会贯通。本书注重理论与实际的结合，内容组织科学严谨，反映了多门学科的内在联系和发展趋势。同时，本书还包含了丰富的例题和近400道习题(其中许多习题还配有详细的解答)，便于教学或自学，适合作为信息科学与技术相关专业高年级本科生和研究生教材，对相关专业技术人员也不失为一本有益的参考书。

本书是英国著名的卡文迪许实验室的著名学者David J.C.MacKay博士总结多年教学经验和科研成果，于2003年推出的一部力作。它不仅包含传统信息论的内容(如香农定理和通信系统理论基础)，还对LDPC等最新的编码算法进行了论述。此外，本书作者以高度的学科驾驭能力，匠心独具地在一个统一框架下讨论了贝叶斯数据建模、蒙特卡罗方法、聚类算法、神经网络等属于机器学习和推理领域的主题。从而很好地将通信、信号处理、数据挖掘、机器学习、模式识别、计算神经学、生物信息学和密码学等诸多学科的技术内涵融会贯通。本书注重理论与实际的结合，内容组织科学严谨，反映了多门学科的内在联系和发展趋势。同时，本书还包含了丰富的例题和近400道习题(其中许多习题还配有详细的解答)，便于教学或自学，适合作为信息科学与技术相关专业高年级本科生和研究生教材，对相关专业技术人员也不失为一本有益的参考书。虽然信息论相关技术的发展日新月异，我们相信本书的内容不会很快过时；虽然国内外关于信息论的专著和教材已经出版很多，但本书有其显著特色和优势，有望成为一本素质教育教材。

本书主体部分包含六大部分，共50章。第一部分至第三部分为传统信息论的内容，讨论了信源编码定理和数据压缩、噪声信道编码定理和纠错码以及散列码等专题。第四部分涉及概率与推理，着重论述贝叶斯推理、聚类算法、蒙特卡罗方法以及决策论等内容，并指出了基于抽样理论的传统推理方法所存在的不足。第五部分神经网络，讨论了单神经元分类器、神经网络学习推理和Hopfield网络，还着重推导了神经网络的信息容量。第六部分稀疏图码，介绍LDPC码、Turbo码、重复累加码和数字喷泉码等性能优越的“后现代”信道编码算法。

第1章 信息论导论

第2章 概率、熵与推理

第3章 有关推理的更多内容

第一部分 数据压缩

第4章 信源编码定理

第5章 符号码

第6章 符号流码

第7章 整数的码

第二部分 噪声信道编码

第8章 相关随机变量

第9章 噪声信道上的通信

第10章 噪声信道编码定理

第11章 纠错码与实际信道

第三部分 信息论中的更多专题

第12章 散列码：用于有效信息检索的码

第13章 二进制码

第14章 存在很好的线性码

第15章 有关信息论的更多习题

第16章 消息传递

第17章 受限无噪信道上的通信

第18章 纵横字谜与密码破译

第19章 为何有性?信息获取与进化

第四部分 概率与推理

第20章 一个推理任务示例：聚类

第2l章 基于完全枚举的精确推理

第22章 最大似然与聚类

第23章 有用的概率分布

第24章 精确边缘化

第25章 网格中的精确边缘化

第26章 图中的精确边缘化

第27章 拉普拉斯方法

第28章 模型比较与奥卡姆剃刀原理

第29章 蒙特卡罗方法

第30章 有效的蒙特卡罗方法

第31章 伊辛模型

第32章 精确蒙特卡罗采样

第33章 变参法

第34章 独立元素分析与隐含变量建模

第35章 有关随机推理的专题

第36章 决策论

第37章 贝叶斯推理与抽样理论

第五部分 神经网络

第38章 神经网络引言

第39章 单神经元分类器

第40章 单神经元的容量

第41章 以学习作推理

第42章 HopfieId网络

第43章 玻耳兹曼机

第44章 多层网络的有监督学习

第45章 高斯过程

第46章 反卷积

第六部分 稀疏图码

第47章 低密度奇偶校验码

第48章 卷积码与Turbo码

第49章 重复累加码

第50章 数字喷泉码

第七部分 附录

附录A 记号

附录B 一些物理知识

附录C 一些数学知识

英汉词汇表

参考文献