信息論基礎(chǔ)（原書第2版）

譯者序
第2版前言
第1版前言
第2版致謝
第1版致謝
第1章 緒論與概覽
第2章 熵、相對熵與互信息
　2.1 熵
　2.2 聯(lián)合熵與條件熵
　2.3 相對熵與互信息
　2.4 熵與互信息的關(guān)系
　2.5 熵、相對熵與互信息的鏈?zhǔn)椒▌t
　2.6 Jensen不等式及其結(jié)果
　2.7 對數(shù)和不等式及其應(yīng)用
　2.8 數(shù)據(jù)處理不等式
　2.9 充分統(tǒng)計(jì)量
　2.10 費(fèi)諾不等式
　要點(diǎn)
　習(xí)題
　歷史回顧
第3章 漸近均分性
　3.1 漸近均分性定理
　3.2 AEP的推論：數(shù)據(jù)壓縮
　3.3 高概率集與典型集
　要點(diǎn)
　習(xí)題
　歷史回顧.
第4章 隨機(jī)過程的熵率
　4.1 馬爾可夫鏈
　4.2 熵率
　4.3 例子：加權(quán)圖上隨機(jī)游動(dòng)的熵率
　4.4 熱力學(xué)第二定律
　4.5 馬爾可夫鏈的函數(shù)
　要點(diǎn)
　習(xí)題
　歷史回顧
第5章 數(shù)據(jù)壓縮
　5.1 有關(guān)編碼的幾個(gè)例子
　5.2 Kraft不等式
　5.3 最優(yōu)碼
　5.4 最優(yōu)碼長的界
　5.5 惟一可譯碼的Kraft不等式
　5.6 赫夫曼碼
　5.7 有關(guān)赫夫曼碼的評論
　5.8 赫夫曼碼的最優(yōu)性
　5.9 Shannon-Fano-Elias編碼
　5.10 香農(nóng)碼的競爭最優(yōu)性
　5.11 由均勻硬幣投擲生成離散分布
　要點(diǎn)
　習(xí)題
　歷史回顧
第6章 博弈與數(shù)據(jù)壓縮
　6.1 賽馬
　6.2 博弈與邊信息
　6.3 相依的賽馬及其熵率
　6.4 英文的熵
　6.5 數(shù)據(jù)壓縮與博弈
　6.6 英文的熵的博弈估計(jì)
　要點(diǎn)
　習(xí)題
　歷史回顧
第7章 信道容量
　7.1 信道容量的幾個(gè)例子
　　7.1.1 無噪聲二元信道
　　7.1.2 無重疊輸出的有噪聲信道
　　7.1.3 有噪聲的打字機(jī)信道
　　7.1.4 二元對稱信道
　　7.1.5 二元擦除信道
　7.2 對稱信道
　7.3 信道容量的性質(zhì)
　7.4 信道編碼定理預(yù)覽
　7.5 定義
　7.6 聯(lián)合典型序列
　7.7 信道編碼定理
　7.8 零誤差碼
　7.9 費(fèi)諾不等式與編碼定理的逆定理
　7.10 信道編碼定理的逆定理中的等式
　7.11 漢明碼
　7.12 反饋容量
　7.13 信源信道分離定理
　要點(diǎn)
　習(xí)題
　歷史回顧
第8章 微分熵
　8.1 定義
　8.2 連續(xù)隨機(jī)變量的AEP
　8.3 微分熵與離散熵的關(guān)系
　8.4 聯(lián)合微分熵與條件微分熵
　8.5 相對熵與互信息
　8.6 微分熵、相對熵以及互信息的性質(zhì)
　要點(diǎn)
　習(xí)題
　歷史回顧
第9章 高斯信道
　9.1 高斯信道：定義
　9.2 高斯信道編碼定理的逆定理
　9.3 帶寬有限信道
　9.4 并聯(lián)高斯信道
　9.5 高斯彩色噪聲信道
　9.6 帶反饋的高斯信道
　要點(diǎn)
　習(xí)題
　歷史回顧
第10章 率失真理論
　10.1 量化
　10.2 定義
　10.3 率失真函數(shù)的計(jì)算
　　10.3.1 二元信源
　　10.3.2 高斯信源
　　10.3.3 獨(dú)立高斯隨機(jī)變量的同步描述
　10.4 率失真定理的逆定理
　10.5 率失真函數(shù)的可達(dá)性
　10.6 強(qiáng)典型序列與率失真
　10.7 率失真函數(shù)的特征
　10.8 信道容量與率失真函數(shù)的計(jì)算
　要點(diǎn)
　習(xí)題
　歷史回顧
第11章 信息論與統(tǒng)計(jì)學(xué)
　11.1 型方法
　11.2 大數(shù)定律
　11.3 通用信源編碼
　11.4 大偏差理論
　11.5 Sanow定理的幾個(gè)例子
　11.6 條件極限定理
　11.7 假設(shè)檢驗(yàn)
　11.8 Chernoff-Stein引理
　11.9 Chemoff信息
　11.10 費(fèi)希爾信息與Cramer-Rao不等式
　要點(diǎn)
　習(xí)題
　歷史回顧
第12章 最大熵
　12.1 最大熵分布
　12.2 幾個(gè)例子
　12.3 奇異最大熵問題
　12.4 譜估計(jì)
　12.5 高斯過程的熵率
　12.6 Burg最大熵定理
　要點(diǎn)
　習(xí)題
　歷史回顧
第13章 通用信源編碼
　13.1 通用碼與信道容量
　13.2 二元序列的通用編碼
　13.3 算術(shù)編碼
　13.4 Lempel-Ziv編碼
　　13.4.1 帶滑動(dòng)窗口的Lernpel-Ziv算法
　　13.4.2 樹結(jié)構(gòu)Lernpel-Ziv算法
　13.5 Lempel-Ziv算法的最優(yōu)性
　　13.5.1 帶滑動(dòng)窗口的Lempel-Ziv算法
　　13.5.2 樹結(jié)構(gòu)Lempel-Ziv壓縮的最優(yōu)性
　要點(diǎn)
　習(xí)題
　歷史回顧
第14章 科爾莫戈羅夫復(fù)雜度
　14.1 計(jì)算模型
　14.2 科爾莫戈羅夫復(fù)雜度：定義與幾個(gè)例子
　14.3 科爾莫戈羅夫復(fù)雜度與熵
　14.4 整數(shù)的科爾莫戈羅夫復(fù)雜度
　14.5 算法隨機(jī)序列與不可壓縮序列
　14.6 普適概率
　14.7 科爾莫戈羅夫復(fù)雜度
　14.8 Ω
　14.9 萬能博弈
　14.10 奧克姆剃刀
　14.11 科爾莫戈羅夫復(fù)雜度與普適概率
　14.12 科爾莫戈羅夫充分統(tǒng)計(jì)量
　14.13 最短描述長度準(zhǔn)則
　要點(diǎn)
　習(xí)題
　歷史回顧
第15章 網(wǎng)絡(luò)信息論
　15.1 高斯多用戶信道
　　15.1.1 單用戶高斯信道
　　15.1.2 陰個(gè)用戶的高斯多接人信道
　　15.1.3 高斯廣播信道
　　15.1.4 高斯中繼信道
　　15.1.5 高斯干擾信道
　　15.1.6 高斯雙程信道
　15.2 聯(lián)合典型序列
　15.3 多接人信道
　　15.3.1 多接人信道容量區(qū)域的可達(dá)性
　　15.3.2 對多接人信道容量區(qū)域的評述
　　15.3.3 多接人信道容量區(qū)域的凸性
　　15.3.4 多接人信道的逆定理
　　15.3.5 m個(gè)用戶的多接人信道
　　15.3.6 高斯多接人信道
　15.4 相關(guān)信源的編碼
　　15.4.1 Slepian-wolf定理的可達(dá)性
　　15.4.2 Slepian-Wolf定理的逆定理
　　15.4.3 多信源的Slepian-Wolf定理
　　15.4.4 Slepian-Wolf編碼定理的解釋
　15.5 Slepian-Wolf編碼與多接人信道之間的對偶性
　15.6 廣播信道
　　15.6.1 廣播信道的定義
　　15.6.2 退化廣播信道
　　15.6.3 退化廣播信道的容量區(qū)域
　15.7 中繼信道
　15.8 具有邊信息的信源編碼
　15.9 具有邊信息的率失真
　15.10 一般多終端網(wǎng)絡(luò)
　要點(diǎn)
　習(xí)題
　歷史回顧
第16章 信息論與投資組合理論
　16.1 股票市場：一些定義
　16.2 對數(shù)最優(yōu)投資組合的庫恩-塔克特征
　16.3 對數(shù)最優(yōu)投資組合的漸近最優(yōu)性
　16.4 邊信息與增長率
　16.5 平穩(wěn)市場中的投資
　16.6 對數(shù)最優(yōu)投資組合的競爭最優(yōu)性
　16.7 萬能投資組合
　　16.7.1 有限期萬能投資組合
　　16.7.2 無限期萬能投資組合
　16.8 Shanon-McMillan-Breiman定理(廣義漸近均分性質(zhì))
　要點(diǎn)
　習(xí)題
　歷史回顧
第17章 信息論中的不等式
　17.1 信息論中的基本不等式
　17.2 微分熵
　17.3 熵與相對熵的界
　17.4 關(guān)于型的不等式
　17.5 熵的組合界
　17.6 子集的熵率
　17.7 熵與費(fèi)希爾信息
　17.8 熵冪不等式與布倫-閔可夫斯基不等式
　17.9 有關(guān)行列式的不等式
　17.10 關(guān)于行列式的比值的不等式
　要點(diǎn)
　習(xí)題
　歷史回顧
參考文獻(xiàn)
索引