隨機(jī)逼近及自適應(yīng)算法

第一章預(yù)備知識(shí)
1.1概率論的若干基本概念
1.1.1隨機(jī)變量及其分布
1.1.2隨機(jī)變量列的收斂性
1.1.3隨機(jī)變量的期望和條件期望
1.1.4條件期望的基本性質(zhì)
1.2離散參數(shù)鞅
1.2.1停時(shí)
1.2.2鞅
1.2.3離散鞅的基本不等式
1.2.4離散鞅的收斂定理
1.2.5Coob停時(shí)定理
1.3馬爾可夫鏈
1.3.1馬爾可夫鏈的定義及其轉(zhuǎn)移概率
1.3.2狀態(tài)的分類
1.3.3狀態(tài)空間的分類
1.3.4P的漸近性質(zhì)與平穩(wěn)分布
1.3.5離散時(shí)間連續(xù)狀態(tài)的馬爾可夫鏈
第二章隨機(jī)逼近算法的分析方法
2.1隨機(jī)逼近算法
2.2鞅方法
2.3常微分方程方法
2.4Lyapunov函數(shù)方法
第三章具有局部有界矩隨機(jī)逼近算法的幾乎必然收斂性
3.1一般算法的引進(jìn)
3.1.1算法模型
3.1.2例子
3.1.3關(guān)于H,ρn和II的一般假設(shè)
3.1.4例子(續(xù)3.1.2)
3.2一般算法的分解
3.3L2估計(jì)
3.4通過常微分方程的解作算法的逼近
3.5算法的漸近分析
3.6收斂定理的另一種敘述
3.7一個(gè)全局收斂性定理
3.8一些算法的L2收斂速度
3.8.1Robbins-Monro算法
3.8.2一般算法的局部L2上界
第四章應(yīng)用
4.1馬爾可夫鏈的幾何遍歷性
4.1.1預(yù)備引理
4.1.2不變概率與Poisson方程的解
4.1.3由Li(p)到Li(p)的連續(xù)轉(zhuǎn)移函數(shù)P的情形
4.2依賴于參數(shù)θ的馬爾可夫鏈
4.2.1υθ關(guān)于θ的Holder正則性
4.2.2定理4.2.1的意義
4.2.3定理4.2.1的證明
4.2.4υθ關(guān)于θ為L(zhǎng)ipschitz的情形
4.2.5定理4.2.2的證明
4.2.6轉(zhuǎn)移概率Pθ不依賴于θ情形
4.3線性動(dòng)力系統(tǒng)
4.3.1假設(shè)和記號(hào)
4.3.2預(yù)備結(jié)果
4.3.3Pθ的性質(zhì)
4.3.4驗(yàn)證假設(shè)(A.4)
4.4例子
4.4.1接收信號(hào)的馬爾可夫表示
4.4.2橫向均衡器,學(xué)習(xí)階段
4.4.3最小二乘算法
第五章遺傳算法
5.1基本概念
5.2遺傳算子及其性質(zhì)
5.3遺傳機(jī)制的過程分析
5.4遺傳算法的馬氏鏈模型
第六章抽象遺傳算法及其收斂性的一般理論
6.1演化算子及其特征數(shù)
6.1.1選擇算子
6.1.2變異算子
6.1.3雜交算子
6.2遺傳算法收斂性的一般理論
6.2.1
6.2.2
6.3兩類特殊類型遺傳算法的收斂性
第七章模擬退火算法
7.1模擬退火算法的數(shù)學(xué)模型
7.1.1算法介紹
7.1.2算法的數(shù)學(xué)模型
7.2齊次算法的漸近收斂性
7.2.1平穩(wěn)分布的存在性
7.2.2平穩(wěn)分布的收斂性
7.3非齊次算法的漸近收斂性
第八章主成分分析神經(jīng)網(wǎng)絡(luò)算法
8.1主成分分析
8.2主成分分析神經(jīng)網(wǎng)絡(luò)算法
8.2.1Hebbian規(guī)則
8.2.2對(duì)于單個(gè)主成分的Oja規(guī)則
8.2.3廣義的Hebbian算法(GHA)
8.2.4多分量的子空間規(guī)則
參考文獻(xiàn)