信息論基礎(chǔ)教程（第3版）

第1章 緒論
1.1 信息的概念
1.2 信息論的研究對象、目的和內(nèi)容
習(xí)題1
第2章 信息的度量
2.1 自信息和互信息
2.1.1 自信息
2.1.2 互信息
2.2 平均自信息
2.2.1 平均自信息的概念
2.2.2 熵函數(shù)的性質(zhì)
2.2.3 聯(lián)合熵與條件熵
2.3 平均互信息
2.3.1 平均互信息的概念
2.3.2 平均互信息的性質(zhì)
2.3.3 數(shù)據(jù)處理定理
習(xí)題2
第3章 信源及信源熵
3.1 信源的分類及其數(shù)學(xué)模型
3.2 離散單符號信源
3.3 離散多符號信源
3.3.1 離散平穩(wěn)無記憶信源
3.3.2 離散平穩(wěn)有記憶信源
3.3.3 馬爾可夫信源
3.3.4 信源的相關(guān)性和剩余度
3.4 連續(xù)信源
3.4.1 連續(xù)信源的微分熵
3.4.2 連續(xù)信源的最大熵
3.4.3 連續(xù)信源的熵功率
習(xí)題3
第4章 信道及信道容量
4.1 信道的分類
4.2 離散單符號信道及其信道容量
4.2.1 離散單符號信道的數(shù)學(xué)模型
4.2.2 信道容量的概念
4.2.3 幾種特殊信道的信道容量
4.2.4 離散對稱信道的信道容量
4.2.5 一般離散信道的信道容量
4.2.6 信道容量定理
4.2.7 信道容量的迭代算法
4.3 離散多符號信道及其信道容量
4.4 組合信道及其信道容量
4.4.1 獨立并聯(lián)信道
4.4.2 級聯(lián)信道
4.5 連續(xù)信道及其信道容量
4.5.1 連續(xù)隨機變量的互信息
4.5.2 高斯加性信道的信道容量
4.5.3 多維高斯加性信道的信道容量
4.6 波形信道及其信道容量
習(xí)題4
第5章 無失真信源編碼
5.1 信源編碼的相關(guān)概念
5.1.1 編碼器
5.1.2 碼的分類
5.2 定長碼及定長信源編碼定理
5.3 變長碼及變長信源編碼定理
5.3.1 Kraft不等式和McMillan不等式
5.3.2 唯一可譯碼的判別準(zhǔn)則
5.3.3 緊致碼平均碼長界限定理
5.3.4 無失真變長信源編碼定理（香農(nóng)第一定理）
5.4 變長碼的編碼方法
5.4.1 香農(nóng)編碼
5.4.2 香農(nóng)一費諾一埃利斯編碼
5.4.3 二元霍夫曼碼
5.4.4 г元霍夫曼碼
5.4.5 費諾碼
5.5 實用的無失真信源編碼方法
5.5.1 游程編碼
5.5.2 算術(shù)編碼
5.5.3 LZW編碼
習(xí)題5
第6章 有噪信道編碼
6.1 信道編碼的相關(guān)概念
6.1.1 錯誤概率和譯碼規(guī)則
6.1.2 錯誤概率與編碼方法
6.2 有噪信道編碼定理
6.3 糾錯編碼
6.3.1 糾錯碼分類
6.3.2 糾錯碼的基本概念
6.3.3 線性分組碼
6.3.4 卷積碼
習(xí)題6
第7章 限失真信源編碼
7.1 失真測度
7.1.1 失真函數(shù)
7.1.2 平均失真
7.2 信息率失真函數(shù)
7.2.1 D失真許可信道
7.2.2 信息率失真函數(shù)的定義
7.2.3 信息率失真函數(shù)R（D）的性質(zhì)
7.3 限失真信源編碼定理
7.4 信息率失真函數(shù)的計算
7.4.1 應(yīng)用參量表示式計算R（D）
7.4.2 率失真函數(shù)的迭代算法
7.5 常用的限失真信源編碼方法
7.5.1 量化編碼
7.5.2 子帶編碼
7.5.3 預(yù)測編碼
7.5.4 變換編碼
習(xí)題7
附錄A 數(shù)學(xué)預(yù)備知識
A.1 概率論與隨機過程
A.1.1 概率論的基本概念
A.1.2 隨機變量及其分布
A.1.3 多維隨機變量及其分布
A.1.4 隨機變量的數(shù)字特征
A.1.5 隨機過程
A.2 凸函數(shù)及Jensen不等式
A.3 信道容量定理引理
A.4 漸進(jìn)等分割性和ε典型序列
附錄B 上機作業(yè)
B.1 信道容量的迭代算法
B.2 唯一可譯碼判決準(zhǔn)則
B.3 Shannon編碼
B.4 Huffman編碼
B.5 Fano編碼
B.6 LZW編碼
B.7 BSC模擬器
B.8 Hamming（7，4）編譯碼器
B.9 通信系統(tǒng)仿真
附錄C
參考文獻(xiàn)