信息論導(dǎo)引

第一章 引論
1.1 信息論的起源和發(fā)展史
1.2 信息的定義
1.3 信息的特征和性質(zhì)
1.3.1 信息的特征
1.3.2 信息的性質(zhì)
1.4 現(xiàn)代信息技術(shù)的含義和基本內(nèi)容
1.4.1 現(xiàn)代信息技術(shù)的含義
1.4.2 信息技術(shù)的基本內(nèi)容
1.4.3 在通信領(lǐng)域中信息技術(shù)的基本內(nèi)容
1.5 預(yù)備知識(shí)
1.5.1 概率論的基本知識(shí)
1.5.2 隨機(jī)變量及其統(tǒng)計(jì)特征簡介
習(xí)題一
第二章 信息論的基本概念
2.1 信源的分類
2.2 自信息量
2.2.1 自信息量
2.2.2 聯(lián)合自信息量
2.2.3 條件自信息量
2.3 互信息量
2.3.1 互信息量
2.3.2 互信息量的性質(zhì)
2.3.3 條件互信息量
2.4 平均自信息量——熵
2.4.1 熵的定義
2.4.2 條件熵
2.4.3 共熵
2.4.4 熵函數(shù)的性質(zhì)
2.5 平均互信息量
2.5.1 平均互信息量的定義
2.5.2 平均互信息量的性質(zhì)
2.5.3 數(shù)據(jù)處理定理
2.5.4 平均互信息量的物理意義
2.6 離散信源的熵
2.6.1 各種離散信源的熵
2.6.2 各種離散信源的時(shí)間熵
2.7 連續(xù)信源的熵
2.7.1 連續(xù)信源的熵
2.7.2 幾種特殊連續(xù)信源的熵
2.7.3 連續(xù)隨機(jī)變量的聯(lián)合熵、條件熵以及平均互信息量
習(xí)題二
第三章 無失真信源編碼
3.1 信源編碼概述
3.1.1 信源最佳化
3.1.2 概率均勻化——最佳編碼
3.1.3 編碼器的描述
3.1.4 碼的唯一可譯性
3.2 消息的冗余度
3.2.1 相對(duì)熵
3.2.2 冗余度
3.2.3 內(nèi)熵
3.3 定長編碼定理和定長編碼方法
3.3.1 定長無失真編碼定理
3.3.2 定長編碼的效率
3.4 變長編碼定理
3.5 變長編碼方法
3.5.1 霍夫曼編碼
3.5.2 費(fèi)諾編碼
3.5.3 香農(nóng)編碼
3.6 一種實(shí)用的無失真信源編碼——游程編碼
3.6.1 游程編碼的基本原理
3.6.2 MH碼及其應(yīng)用
習(xí)題三
第四章 信道
4.1 信道的分類
4.2 無擾離散信道
4.2.1 無擾離散信道上的信息傳輸速率
4.2.2 無擾離散信道上的信道容量
4.3 有擾離散信道
……
第五章 離散信源的限失真信源編碼
第六章 信道編碼
第七章 信息加密技術(shù)
參考文獻(xiàn)