超限學習機理論技術(shù)與應用

第1章 緒論\t1
1．1　引言　1
1．2　ELM研究背景　2
1．3　ELM概念與內(nèi)涵　3
1．3．1　快速前饋神經(jīng)網(wǎng)絡　3
1．3．2　通用機器學習單元　4
1．3．3　可信生物學習機制　5
1．4　ELM的發(fā)展歷程　6
1．4．1　第一階段（2006—2010年）：新型神經(jīng)網(wǎng)絡結(jié)構(gòu)與理論　6
1．4．2　第二階段（2011—2015年）：通用學習模型構(gòu)建與解釋　7
1．4．3　第三階段（2016—至今）：生物學習機制研究與硬件實現(xiàn)　7
1．5　本書內(nèi)容具體安排　8
參考文獻　8
第2章　超限學習機理論　11
2．1　ELM網(wǎng)絡模型　11
2．1．1　網(wǎng)絡結(jié)構(gòu)描述　11
2．1．2　網(wǎng)絡參數(shù)學習　13
2．2　ELM網(wǎng)絡性能分析　14
2．2．1　有效擬合：隨機投影與通用逼近　15
2．2．2　快速學習：等式約束優(yōu)化　19
2．3　ELM學習機制通用性分析　23
2．3．1　顯式映射形式與參數(shù)求解策略　24
2．3．2　核化映射形式與參數(shù)對偶表示　25
2．3．3　“顯式”與“核化”的統(tǒng)一　27
2．4　本章小結(jié)　29
參考文獻　30
第3章　超限學習機分類與回歸　32
3．1　分類與回歸——ELM的統(tǒng)一性解決策略　32
3．1．1　均方誤差代價函數(shù)：分類與回歸的統(tǒng)一　33
3．1．2　等式優(yōu)化約束項：二分類與多分類的統(tǒng)一　34
3．2　標簽不平衡——加權(quán)ELM　35
3．2．1　加權(quán)ELM模型構(gòu)建　36
3．2．2　加權(quán)ELM機理分析　37
3．2．3　加權(quán)ELM性能評估　39
3．3　標簽缺失——弱監(jiān)督ELM　40
3．3．1　弱監(jiān)督ELM模型構(gòu)建　41
3．3．2　弱監(jiān)督ELM機理分析　45
3．3．3　弱監(jiān)督ELM性能評估　45
3．4　樣本動態(tài)更迭——在線序貫ELM　53
3．4．1　在線序貫ELM模型構(gòu)建　54
3．4．2　在線序貫ELM機理分析　56
3．4．3　在線序貫ELM性能評估　56
3．5　樣本含噪——濾波型ELM　59
3．5．1　濾波型ELM模型構(gòu)建　59
3．5．2　濾波型ELM機理分析　62
3．5．3　濾波型ELM性能評估　63
3．6　本章小結(jié)　66
參考文獻　66
第4章　超限學習機特征學習　69
4．1　ELM特征選擇　69
4．1．1　ELM包裹式特征選擇　71
4．1．2　ELM嵌入式特征選擇　77
4．2　ELM單隱藏層特征映射學習　80
4．2．1　有監(jiān)督隨機特征映射　81
4．2．2　無監(jiān)督特征自編碼器　87
4．3　ELM層次化特征映射學習　92
4．3．1　隨機特征映射遞歸　93
4．3．2　特征自編碼器棧式堆疊　97
4．4　ELM層次化特征映射學習與深度學習的聯(lián)系　100
4．4．1　特征映射建模：普適性與自適應性　100
4．4．2　特征優(yōu)化方法：凸優(yōu)化與非凸尋優(yōu)　102
4．5　本章小結(jié)　104
參考文獻　105
第5章　超限學習機工程實現(xiàn)　107
5．1　面向模型訓練的并行加速技術(shù)　107
5．1．1　分布式軟件架構(gòu)加速　108
5．1．2　GPU平臺加速　121
5．1．3　云端集群計算平臺加速　124
5．2　面向模型測試的嵌入式實時處理系統(tǒng)設(shè)計　127
5．2．1　基于FPGA平臺的ELM模擬驗證系統(tǒng)　128
5．2．2　基于ASIC平臺的ELM實際架構(gòu)系統(tǒng)　132
5．3　本章小結(jié)　146
參考文獻　147
第6章　超限學習機領(lǐng)域應用　149
6．1　智能安防應用實例　149
6．1．1　監(jiān)控系統(tǒng)的目標跟蹤　149
6．1．2　門禁系統(tǒng)的人臉識別　154
6．1．3　報警系統(tǒng)的行為識別　159
6．2　衛(wèi)星遙感應用實例　163
6．2．1　SAR圖像在軌變化檢測　163
6．2．2　高光譜圖像農(nóng)作物分類　170
6．2．3　可見光氣象影像云圖分類識別　176
6．3　生物醫(yī)藥應用實例　182
6．3．1　運動想像腦電信號分類　182
6．3．2　骨髓細胞分類　187
6．3．3　基因表達數(shù)據(jù)分類　192
6．4　本章小結(jié)　195
參考文獻　196
第7章　研究總結(jié)與未來展望　199
7．1　研究總結(jié)與結(jié)論　200
7．2　發(fā)展趨勢分析　200
7．2．1　應用前景　201
7．2．2　技術(shù)走向　201
7．2．3　難點與挑戰(zhàn)　203
7．3　本章小結(jié)　206
參考文獻　206
附錄A　矩陣與最優(yōu)化　208
A．1　范數(shù)及最小化　208
A．2　流形假設(shè)與圖拉普拉斯矩陣　210
A．2．1　流形假設(shè)　210
A．2．2　圖拉普拉斯矩陣　210
附錄B　概率與不等式　213
B．1　高斯分布與投影結(jié)果分析　213
B．2　不等式與投影結(jié)果的穩(wěn)定性描述　214
名詞索引　217