信息論基礎習題解答

第1章 緒論
第2章 離散信息的度量
2.1 知識要點
2.1.1 自信息和互信息
2.1.2 信息熵
2.1.3 平均互信息
2.2 例題精解
2.3 習題解答
2.4 補充題解
第3章 離散信源
3.1 知識要點
3.1.1 離散信源的分類與數(shù)學模型
3.1.2 離散無記憶信源的熵
3.1.3 離散平穩(wěn)信源的熵
3.1.4 有限狀態(tài)馬爾可夫鏈
3.1.5 馬爾可夫信源
3.1.6 信源的相關性與剩余度
3.2 例題精解
3.3 習題解答
3.4 補充題解
第4章 連續(xù)信息與連續(xù)信源
4.1 知識要點
4.1.1 連續(xù)隨機變量集合的熵
4.1.2 離散時間高斯信源的熵
4.1.3 連續(xù)最大熵定理
4.1.4 連續(xù)隨機變量集的平均互信息
4.1.5 離散集與連續(xù)集之間的互信息
4.2 例題精解
4.3 習題解答
4.4 補充題解
第5章 無失真信源編碼
5.1 知識要點
5.1.1 基本概念
5.1.2 定長碼
5.1.3 變長碼
5.1.4 哈夫曼編碼
5.1.5 幾種實用的編碼方法
5.2 例題精解
5.3 習題解答
5.4 補充題解
第6章 離散信道及其容量
6.1 知識要點
6.1.1 基本概念
6.1.2 單符號離散信道及其容量
6.1.3 級聯(lián)信道及其容量
6.1.4 多維矢量信道及其容量
6.2 例題精解
6.3 習題解答
6.4 補充題解
第7章 有噪信道編碼
7.1 知識要點
7.1.1 基本概念
7.1.2 最佳判決與譯碼準則
7.1.3 信道編碼與最佳譯碼
7.1.4 費諾不等式
7.1.5 有噪信道編碼定理
7.1.6 糾錯編碼技術簡介
7.1.7 信道編碼性能界限
7.2 例題精解
7.3 習題解答
7.4 補充題解
第8章 波形信道
8.1 知識要點
8.1.1 離散時間連續(xù)信道
8.1.2 加性噪聲信道與容量
8.1.3 AWGN信道的容量
8.1.4 有色高斯噪聲信道
8.1.5 數(shù)字調(diào)制系統(tǒng)的信道容量
8.2 例題精解
8.3 習題解答
8.4 補充題解
第9章 信息率失真函數(shù)
9.1 知識要點
9.1.1 基本概念
9.1.2 離散信源信息率失真函數(shù)
9.1.3 限失真信源編碼定理
9.1.4 離散信源信息率失真函數(shù)的計算
9.1.5 連續(xù)信源信息率失真函數(shù)
9.1.6 重要的R（D）函數(shù)
9.1.7 一般連續(xù)信源R（D）函數(shù)
9.2 例題精解
9.3 習題解答
9.4 補充題解
第10章 有約束信道及其編碼
10.1 知識要點
10.1.1 標號圖的性質(zhì)
10.1.2 有約束信道容量
10.1.3 有約束序列的性質(zhì)
10.1.4 有約束信道編碼定理
10.1.5 有約束序列編碼與應用
10.2 例題精解
10.3 習題解答
第11章 網(wǎng)絡信息論初步
11.1 知識要點
11.1.1 基本概念
11.1.2 多址接入信道
11.1.3 廣播信道
11.1.4 相關信源編碼
11.2 習題解答
11.3 補充題解
第12章 信息理論方法及其應用
12.1 知識要點
12.1.1 離散信源熵的估計
12.1.2 最大熵原理
12.1.3 最小交叉熵原理
12.1.4 信息理論方法的應用
12.2 例題精解
12.3 習題解答
期末考試模擬試題
期末考試模擬試題標準答案
參考文獻