遷移學習導(dǎo)論

目錄
第一部分背景與概念
第1 章緒論3
1.1 遷移學習3
1.2 相關(guān)研究領(lǐng)域 6
1.3 遷移學習的必要性8
1.3.1 大數(shù)據(jù)與少標注之間的矛盾 8
1.3.2 大數(shù)據(jù)與弱計算能力的矛盾 8
1.3.3 有限數(shù)據(jù)與模型泛化能力的矛盾 9
1.3.4 普適化模型與個性化需求的矛盾 9
1.3.5 特定應(yīng)用的需求10
1.4 遷移學習的研究領(lǐng)域 11
1.4.1 按特征空間分類12
1.4.2 按目標域有無標簽分類 12
1.4.3 按學習方法分類12
1.4.4 按離線與在線形式分類 13
1.5 遷移學習的應(yīng)用14
1.5.1 計算機視覺14
1.5.2 自然語言處理 15
1.5.3 普適計算與人機交互16
1.5.4 醫(yī)療健康17
1.6 學術(shù)會議和工業(yè)界中的遷移學習 18

第2 章從機器學習到遷移學習21
2.1 機器學習及基本概念 21
2.2 結(jié)構(gòu)風險最小化22
2.3 數(shù)據(jù)的概率分布23
2.4 概念與符號25
2.5 遷移學習的問題定義 26

第3 章遷移學習基本問題29
3.1 何處遷移30
3.2 何時遷移32
3.3 如何遷移32
3.4 失敗的遷移：負遷移 33
3.5 完整的遷移學習過程 35

第二部分方法與技術(shù)

第4 章遷移學習方法總覽39
4.1 遷移學習總體思路39
4.2 分布差異的度量40
4.2.1 百花齊放的遷移學習分布度量41
4.2.2 分布差異的統(tǒng)一表征42
4.2.3 分布自適應(yīng)因子的計算 44
4.3 遷移學習統(tǒng)一表征45
4.3.1 樣本權(quán)重遷移法46
4.3.2 特征變換遷移法47
4.3.3 模型預(yù)訓練遷移法 48
4.3.4 小結(jié) 48
4.4 上手實踐48
4.4.1 數(shù)據(jù)準備49
4.4.2 基準模型構(gòu)建：KNN 51
4.5 遷移學習理論 53
4.5.1 概念與符號54
4.5.2 基于H-divergence 的理論分析 54
4.5.3 基于HΔH-distance 的理論分析55
4.5.4 基于差異距離的理論分析57
4.5.5 結(jié)合標簽函數(shù)差異的理論分析58

第5 章樣本權(quán)重遷移法 59
5.1 問題定義59
5.1.1 樣本權(quán)重遷移法的可行性分析59
5.1.2 形式化定義60
5.2 基于樣本選擇的方法 61
5.2.1 基于非強化學習的樣本選擇法62
5.2.2 基于強化學習的樣本選擇法 63
5.3 基于權(quán)重自適應(yīng)的方法 64
5.4 上手實踐66
5.5 小結(jié)68

第6 章統(tǒng)計特征變換遷移法 69
6.1 問題定義69
6.2 最大均值差異法70
6.2.1 基本概念70
6.2.2 基于最大均值差異的遷移方法72
6.2.3 求解與計算75
6.2.4 應(yīng)用與擴展76
6.3 度量學習法78
6.3.1 從預(yù)定義的距離到可學習的距離 78
6.3.2 度量學習及其形式化79
6.3.3 基于度量學習的遷移學習80
6.4 上手實踐81
6.4.1 算法精煉81
6.4.2 編寫代碼82
6.5 小結(jié)84

第7 章幾何特征變換遷移法 85
7.1 問題定義85
7.2 子空間變換法 86
7.3 流形學習法87
7.3.1 流形學習87
7.3.2 基于流形學習的遷移學習方法88
7.4 最優(yōu)傳輸法91
7.4.1 最優(yōu)傳輸91
7.4.2 基于最優(yōu)傳輸法的遷移學習方法 92
7.5 上手實踐94
7.6 小結(jié)97

第8 章預(yù)訓練方法99
8.1 深度網(wǎng)絡(luò)的可遷移性 99
8.2 預(yù)訓練–微調(diào)102
8.3 預(yù)訓練方法的有效性分析105
8.4 自適應(yīng)的預(yù)訓練方法 106
8.5 重新思考預(yù)訓練模型的使用 108
8.6 上手實踐110
8.7 小結(jié)113

第9 章深度遷移學習115
9.1 總體思路116
9.2 深度遷移學習的網(wǎng)絡(luò)結(jié)構(gòu)117
9.2.1 單流結(jié)構(gòu)118
9.2.2 雙流結(jié)構(gòu)118
9.3 數(shù)據(jù)分布自適應(yīng)的深度遷移學習方法120
9.3.1 邊緣分布自適應(yīng)120
9.3.2 條件、聯(lián)合與動態(tài)分布自適應(yīng)121
9.4 結(jié)構(gòu)自適應(yīng)的深度遷移學習方法 122
9.4.1 批歸一化123
9.4.2 批歸一化用于遷移學習 123
9.4.3 基于多表示學習的遷移網(wǎng)絡(luò)結(jié)構(gòu) 124
9.5 知識蒸餾125
9.6 上手實踐127
9.6.1 網(wǎng)絡(luò)結(jié)構(gòu)127
9.6.2 損失 129
9.6.3 訓練 131
9.6.4 測試 132
9.7 小結(jié)133

第10 章對抗遷移學習135
10.1 生成對抗網(wǎng)絡(luò) 135
10.2 對抗遷移學習基本思路 136
10.3 數(shù)據(jù)分布自適應(yīng)的對抗遷移方法137
10.4 基于信息解耦的對抗遷移方法 140
10.5 基于數(shù)據(jù)生成的對抗遷移方法 141
10.6 上手實踐 142
10.6.1 領(lǐng)域判別器143
10.6.2 分布差異計算 143
10.6.3 梯度反轉(zhuǎn)層144
10.7 小結(jié) 145

第11 章遷移學習熱門研究問題 147
11.1 類別不均衡的遷移學習 148
11.2 多源遷移學習 150
11.3 開放集遷移學習153
11.4 時間序列的遷移學習154
11.5 聯(lián)邦遷移學習 158
11.5.1 聯(lián)邦學習158
11.5.2 聯(lián)邦遷移學習 160
11.6 基于因果關(guān)系的遷移學習161
11.6.1 什么是因果關(guān)系161
11.6.2 因果關(guān)系與遷移學習163
11.7 自動遷移學習 168
11.8 在線遷移學習 171

第三部分擴展與探索

第12 章領(lǐng)域泛化177
12.1 領(lǐng)域泛化問題 177
12.1.1 背景177
12.1.2 問題定義179
12.1.3 常用方法180
12.2 基于數(shù)據(jù)分布自適應(yīng)的方法181
12.2.1 領(lǐng)域無關(guān)成分分析DICA181
12.2.2 深度數(shù)據(jù)分布自適應(yīng)183
12.3 基于解耦的方法184
12.4 基于集成模型的方法186
12.5 基于數(shù)據(jù)生成的方法187
12.5.1 領(lǐng)域隨機法187
12.5.2 對抗數(shù)據(jù)生成 188
12.6 基于元學習的方法 190
12.7 小結(jié) 191

第13 章元學習193
13.1 元學習簡介193
13.1.1 問題背景193
13.1.2 元學習 194
13.2 基于模型的元學習方法 196
13.3 基于度量的元學習方法 198
13.4 基于優(yōu)化的元學習方法 199
13.5 元學習的應(yīng)用與挑戰(zhàn)201
13.5.1 應(yīng)用201
13.5.2 現(xiàn)存的挑戰(zhàn)202
13.6 小結(jié) 202

第14 章遷移學習模型選擇205
14.1 模型選擇 205
14.2 基于密度估計的模型選擇206
14.3 遷移交叉驗證 207
14.4 小結(jié) 208

第四部分應(yīng)用與展望

第15 章遷移學習的應(yīng)用211
15.1 計算機視覺212
15.2 自然語言處理 214
15.3 語音識別與合成216
15.4 普適計算與人機交互218
15.5 醫(yī)療健康領(lǐng)域 220
15.6 其他應(yīng)用 223
15.7 小結(jié) 225

第16 章遷移學習前沿227
16.1 融合人類經(jīng)驗的遷移227
16.2 遷移強化學習 228
16.3 遷移學習的可解釋性228
16.4 遷移學習系統(tǒng) 229

附錄A231
A.1 常用度量準則 231
A.1.1 常見的幾種距離231
A.1.2 余弦相似度232
A.1.3 互信息 232
A.1.4 相關(guān)系數(shù)232
A.1.5 KL 散度與JS 距離233
A.1.6 最大均值差異MMD 233
A.1.7 Principal Angle 234
A.1.8 A-distance234
A.1.9 希爾伯特–施密特獨立性系數(shù)234
A.1.10 Wasserstein Distance234
A.2 遷移學習常用數(shù)據(jù)集235
A.2.1 手寫體識別圖像數(shù)據(jù)集 235
A.2.2 對象識別數(shù)據(jù)集236
A.2.3 圖像分類數(shù)據(jù)集237
A.2.4 通用文本分類數(shù)據(jù)集237
A.2.5 行為識別公開數(shù)據(jù)集238
A.3 本書相關(guān)資源 238
參考文獻241