本书主要面向信息安全、信息与计算科学、计算机科学与技术等本科专业的高年级学生使用。也可供从事相关专业的教学、科研和工程技术人员参考。

《离散信息论基础》从离散概率人手，对离散信息论的基本知识进行了介绍，主要内容包括：绪论，离散信息的度量，数据压缩，离散信源，数据纠错，离散信道，数据保密，算法信息论与通用信源编码，微分熵与优选熵原理。为拓宽读者视野，培养学习兴趣，提高人文素养，《离散信息论基础》融人了一些历史知识，还补充了信息论实验内容。
《离散信息论基础》可供信息安全、信息与计算科学、计算机科学与技术等本科专业的高年级学生使用，也可供从事相关专业的教学、科研和工程技术人员参考。

第1章 绪论
1.1 基本概念
1.1.1 信息的含义
1.1.2 信息的表达
1.1.3 信息的处理
1.2 信息论概览
1.2.1 Shannon与信息论
1.2.2 通信系统的数学模型
本章小结
习题
第2章 离散信息的度量
2.1 基本概念
2.1.1 离散熵的定义
2.1.2 联合熵与条件熵
2.1.3 相对熵与互信息
2.2 离散熵的性质
2.2.1 离散熵的基本性质
2.2.2 链式法则
2.2.3 有关离散熵的不等式
2.3 离散熵的形式专享性
本章小结
习题
第3章 数据压缩
3.1 基本概念
3.1.1 语言与编码
3.1.2 匡一可译码
3.1.3 即时码与前缀码
3.2 数据压缩的性质
3.2.1 前缀码的码长约束
3.2.2 专享可译码的码长约束
3.2.3 很好码
3.3 典型编码
3.3.1 Huffman编码
3.3.2 Fano编码
3.3.3 Shanno一Fano-Elias
编码
本章小结
习题
第4章 离散信源
4.1 基本概念
4.1.1 离散信源模型
4.1.2 Markov信源
4.1.3 Markov链
4.2 信源编码
4.2.1 随机变量扩展
4.2.2 变长信源编码定理
4.2.3 熵率
4.3 渐近均分性
4.3.1 典型集
4.3.2 信源编码定理
本章小结
习题
第5章 数据纠错
5.1 基本概念
5.1.1 离散信道模型
5.1.2 典型信道
5.1.3 信道扩展
5.2 信道纠错
5.2.1 译码准则
5.2.2 错误概率估计
5.2.3 分组码
5.3 线性分组码
5.3.1 码字距离
5.3.2 纠错能力
5.3.3 Hamrning码
本章小结
习题
第6章 离散信道
6.1 基本概念
6.1.1 互信息
6.1.2 特殊信道的容量
6.1.3 一般信道的容量
6.2 数据处理
6.2.1 码率
6.2.2 数据处理不等式
6.2.3 信源信道定理
6.3 信道编码
6.3.1 联合典型集
6.3.2 信道编码定理
6.3.3 信道编码逆定理
本章小结
习题
第7章 数据保密
7.1 信息的保密传输
7.1.1 密码学简介
7.1.2 保密系统模型
7.1.3 几种典型的密码体制
7.2 密码体制的信息论分析
7.2.1 接近保密性
7.2.2 专享解距离
本章小结
习题
第8章 算法信息论与通用信源编码
8.1 基本概念
8.1.1 统计编码
8.1.2 自适应编码
8.2 描述复杂性
8.2.1 Kolmogorov复杂度
8.2.2 通用概率
8.3 通用信源编码
8.3.1 算术编码
8.3.2 字典方法
本章小结
习题
第9章 微分熵与优选熵原理
9.1 基本概念
9.1.1 微分熵
9.1.2 信息不等式
9.2 信息量优选化
9.2.1 优选熵问题
9.2.2 优选熵分布
本章小结
习题
信息论实验
参考文献