基于函數(shù)逼近的強(qiáng)化學(xué)習(xí)與動(dòng)態(tài)規(guī)劃

目 錄
第　1章 概述　1
1．1　動(dòng)態(tài)規(guī)劃與強(qiáng)化學(xué)習(xí)問題　2
1．2　動(dòng)態(tài)規(guī)劃與強(qiáng)化學(xué)習(xí)中的逼近　5
1．3　關(guān)于本書　7
第　2章 動(dòng)態(tài)規(guī)劃與強(qiáng)化學(xué)習(xí)介紹　9
2．1　引言　9
2．2　馬爾可夫決策過程　12
2．2．1　確定性情況　12
2．2．2　隨機(jī)性情況　16
2．3　值迭代　20
2．3．1　基于模型的值迭代　20
2．3．2　模型無關(guān)的值迭代與探索的必要性　25
2．4　策略迭代　27
2．4．1　基于模型的策略迭代　28
2．4．2　模型無關(guān)的策略迭代　33
2．5　策略搜索　35
2．6　總結(jié)與討論　38
第3章　大規(guī)模連續(xù)空間中的動(dòng)態(tài)規(guī)劃與強(qiáng)化學(xué)習(xí)　40
3．1　介紹　40
3．2　大規(guī)模連續(xù)空間中近似的必要性　43
3．3　近似框架　45
3．3．1　帶參近似　45
3．3．2　無參近似　48
3．3．3　帶參與無參逼近器的比較　49
3．3．4　附注　50
3．4　近似值迭代　51
3．4．1　基于模型的帶參近似值迭代算法　51
3．4．2　模型無關(guān)的帶參近似值迭代算法　54
3．4．3　無參近似值迭代算法　58
3．4．4　非擴(kuò)張近似的作用及收斂性　59
3．4．5　實(shí)例：用于直流電機(jī)的近似Q值迭代　62
3．5　近似策略迭代　67
3．5．1　用于近似策略評(píng)估的類值迭代算法　68
3．5．2　基于線性帶參近似的模型無關(guān)策略評(píng)估　70
3．5．3　基于無參近似的策略評(píng)估　80
3．5．4　帶回滾的基于模型的近似策略評(píng)估　80
3．5．5　策略改進(jìn)與近似策略迭代　81
3．5．6　理論保障　84
3．5．7　實(shí)例：用于直流電機(jī)的最小二乘策略迭代　86
3．6　自動(dòng)獲取值函數(shù)逼近器　90
3．6．1　基函數(shù)最優(yōu)化方法　91
3．6．2　基函數(shù)構(gòu)造　93
3．6．3　附注　95
3．7　近似策略搜索　95
3．7．1　策略梯度與行動(dòng)者-評(píng)論家算法　96
3．7．2　梯度無關(guān)的策略搜索　101
3．7．3　實(shí)例：用于直流電機(jī)問題的梯度無關(guān)策略搜索　103
3．8　近似值迭代、近似策略迭代及近似策略搜索算法的比較　106
3．9　總結(jié)與討論　108
第4章　基于模糊表示的近似值迭代　110
4．1　引言　110
4．2　模糊Q值迭代　112
4．2．1　模糊Q值迭代的近似和投影映射　112
4．2．2　同步和異步模糊Q值迭代　116
4．3　模糊Q值迭代的分析　119
4．3．1　收斂性　119
4．3．2　一致性　126
4．3．3　計(jì)算復(fù)雜度　131
4．4　優(yōu)化隸屬度函數(shù)　132
4．4．1　隸屬度函數(shù)優(yōu)化的一般方法　132
4．4．2　交叉熵優(yōu)化　133
4．4．3　基于交叉熵隸屬度函數(shù)優(yōu)化的模糊Q值迭代　135
4．5　實(shí)驗(yàn)研究　137
4．5．1　直流電機(jī)：收斂性和一致性研究　137
4．5．2　雙連桿機(jī)械臂：動(dòng)作插值的效果以及與擬合Q值迭代的比較　142
4．5．3　倒立擺：實(shí)時(shí)控制　146
4．5．4　過山車：隸屬度函數(shù)優(yōu)化的效果　149
4．6　總結(jié)與討論　152
第5章　用于在線學(xué)習(xí)和連續(xù)動(dòng)作控制的近似策略迭代　154
5．1　引言　154
5．2　最小二乘策略迭代的概述　155
5．3　在線最小二乘策略迭代　157
5．4　使用先驗(yàn)知識(shí)的在線LSPI　161
5．4．1　使用策略近似的在線LSPI　161
5．4．2　具有單調(diào)策略的在線LSPI　162
5．5　采用連續(xù)動(dòng)作、多項(xiàng)式近似的LSPI　165
5．6　實(shí)驗(yàn)研究　167
5．6．1　用于倒立擺的在線LSPI　167
5．6．2　用于雙連桿機(jī)械臂的在線LSPI　178
5．6．3　使用直流電機(jī)先驗(yàn)知識(shí)的在線LSPI　181
5．6．4　在倒立擺中使用帶有連續(xù)動(dòng)作逼近器的LSPI　183
5．7　總結(jié)與討論　187
第6章　基于交叉熵基函數(shù)優(yōu)化的近似策略搜索　189
6．1　介紹　189
6．2　交叉熵優(yōu)化方法　190
6．3　交叉熵策略搜索　192
6．3．1　一般方法　192
6．3．2　基于徑向基函數(shù)的交叉熵策略搜索　197
6．4　實(shí)驗(yàn)研究　199
6．4．1　離散時(shí)間二重積分　199
6．4．2　自行車平衡　206
6．4．3　HIV傳染病控制的計(jì)劃性間斷治療　212
6．5　總結(jié)與討論　215
附錄A　極端隨機(jī)樹　217
附錄B　交叉熵方法　221
縮略語　227
參考文獻(xiàn)　232