信息論基礎與應用

緒論………………………………………………………………………………………………… 1
0.1 信息的概念 …………………………………………………………………………… 1
0.2 信息論的研究對象、目的和內容 …………………………………………………… 2
擴展閱讀：信息論的形成和發(fā)展…………………………………………………………… 5
擴展閱讀：量子通信與量子信息論………………………………………………………… 6
第1章 信息的度量 …………………………………………………………………………… 8
1.1 自信息和互信息 ……………………………………………………………………… 8
1.1.1 自信息 …………………………………………………………………………… 8
1.1.2 互信息 ………………………………………………………………………… 10
1.2 平均自信息…………………………………………………………………………… 11
1.2.1 平均自信息（信息熵）的概念 …………………………………………………… 11
1.2.2 熵函數的性質 …………………………………………………………………… 12
1.2.3 聯(lián)合熵與條件熵 ………………………………………………………………… 15
1.3 平均互信息…………………………………………………………………………… 19
1.3.1 平均互信息的概念 ……………………………………………………………… 19
1.3.2 平均互信息的性質 ……………………………………………………………… 20
1.3.3 數據處理定理 …………………………………………………………………… 24
1.3.4 相對熵（KL散度） ……………………………………………………………… 25
擴展閱讀：凸函數及詹森不等式 ………………………………………………………… 26
擴展閱讀：信息增益與決策樹 …………………………………………………………… 27
動手實踐：圖像的熵和平均互信息 ……………………………………………………… 29
習題1 ……………………………………………………………………………………… 29
第2章 信源及信源熵 ………………………………………………………………………… 34
2.1 信源的分類及其數學模型…………………………………………………………… 34
2.2 離散單符號信源……………………………………………………………………… 35
2.3 離散多符號信源……………………………………………………………………… 36
2.3.1 離散平穩(wěn)無記憶信源 …………………………………………………………… 36
2.3.2 離散平穩(wěn)有記憶信源 …………………………………………………………… 38
2.3.3 馬爾可夫信源 …………………………………………………………………… 40
2.3.4 信源的相關性和剩余度 ………………………………………………………… 44
2.4 連續(xù)信源……………………………………………………………………………… 46
2.4.1 連續(xù)信源的最大熵 ……………………………………………………………… 50
2.4.2 連續(xù)信源的熵功率 ……………………………………………………………… 51
擴展閱讀：隨機過程 ……………………………………………………………………… 52
擴展閱讀：隱馬爾可夫模型與賭場風云 ………………………………………………… 56
習題2 ……………………………………………………………………………………… 58
第3章 信道及其信道容量 …………………………………………………………………… 63
3.1 信道的分類…………………………………………………………………………… 63
3.2 離散單符號信道……………………………………………………………………… 64
3.2.1 離散單符號信道的數學模型 ……………………………………………………… 64
3.2.2 信道容量的概念 ………………………………………………………………… 66
3.2.3 幾種特殊信道的信道容量………………………………………………………… 68
3.2.4 離散對稱信道的信道容量………………………………………………………… 69
3.2.5 一般離散信道的信道容量………………………………………………………… 73
3.2.6 信道容量定理 …………………………………………………………………… 77
3.2.7 信道容量的迭代算法* …………………………………………………………… 80
3.3 離散多符號信道及其信道容量……………………………………………………… 83
3.4 組合信道及其信道容量……………………………………………………………… 86
3.4.1 獨立并聯(lián)信道 …………………………………………………………………… 87
3.4.2 級聯(lián)信道………………………………………………………………………… 87
3.5 連續(xù)信道及其信道容量……………………………………………………………… 88
3.5.1 連續(xù)隨機變量的互信息 ………………………………………………………… 88
3.5.2 加性高斯信道的信道容量………………………………………………………… 90
3.5.3 多維高斯加性信道的信道容量 …………………………………………………… 91
3.6 波形信道的信道容量………………………………………………………………… 92
擴展閱讀：信道容量定理引理 …………………………………………………………… 93
動手實踐：信道容量的迭代算法 ………………………………………………………… 94
習題3 ……………………………………………………………………………………… 95
第4章 無失真信源編碼 ……………………………………………………………………… 99
4.1 信源編碼概述………………………………………………………………………… 99
4.1.1 編碼器 ………………………………………………………………………… 99
4.1.2 碼的分類 ……………………………………………………………………… 101
4.2 定長碼及定長信源編碼定理 ……………………………………………………… 103
4.3 變長碼及變長信源編碼定理 ……………………………………………………… 106
4.3.1 Kraft不等式和McMillan不等式 ………………………………………………… 107
4.3.2 唯一可譯碼的判別準則 ………………………………………………………… 108
4.3.3 緊致碼平均碼長界限定理 ……………………………………………………… 109
4.3.4 無失真變長信源編碼定理（香農第一定理） …………………………………… 111
4.4 變長碼的編碼方法 ………………………………………………………………… 115
4.4.1 香農編碼 ……………………………………………………………………… 115
4.4.2 香農-費諾-埃利斯編碼 ……………………………………………………… 116
4.4.3 二元霍夫曼碼 ………………………………………………………………… 116
4.4.4 r元霍夫曼碼 …………………………………………………………………… 119
4.4.5 費諾碼 ………………………………………………………………………… 120
4.5 實用的無失真信源編碼方法 ……………………………………………………… 122
4.5.1 游程編碼 ……………………………………………………………………… 122
4.5.2 算術編碼 ……………………………………………………………………… 124
4.5.3 LZW編碼 ……………………………………………………………………… 126
擴展閱讀：漸進等分割性和典型序列…………………………………………………… 129
習題4 ……………………………………………………………………………………… 132
第5章 有噪信道編碼 ……………………………………………………………………… 136
5.1 信道編碼的相關概念 ……………………………………………………………… 136
5.1.1 錯誤概率和譯碼規(guī)則 …………………………………………………………… 137
5.1.2 錯誤概率與編碼方法 …………………………………………………………… 142
5.2 有噪信道編碼定理 ………………………………………………………………… 148
5.3 糾錯編碼 …………………………………………………………………………… 150
5.3.1 糾錯編碼分類 ………………………………………………………………… 150
5.3.2 糾錯編碼的基本概念 …………………………………………………………… 152
5.3.3 線性分組碼 …………………………………………………………………… 153
5.3.4 幾種重要的線性分組碼 ………………………………………………………… 163
5.3.5 卷積碼* ……………………………………………………………………… 168
5.3.6 TCM碼、級聯(lián)碼、Turbo碼和LDPC碼 ………………………………………… 171
動手實踐5.1：Hamming(7,4)編譯碼器 ……………………………………………… 172
動手實踐5.2：通信系統(tǒng)仿真 …………………………………………………………… 172
習題5 ……………………………………………………………………………………… 173
第6章 限失真信源編碼 …………………………………………………………………… 178
6.1 失真測度 …………………………………………………………………………… 178
6.1.1 失真函數 ……………………………………………………………………… 179
6.1.2 平均失真 ……………………………………………………………………… 181
6.2 信息率失真函數 …………………………………………………………………… 182
6.2.1 D失真6