聯(lián)邦學(xué)習(xí)

第Ⅰ部分  聯(lián)邦學(xué)習(xí)概述及其作為
機(jī)器學(xué)習(xí)方法的問題
第1章  聯(lián)邦學(xué)習(xí)介紹   3
1.1　概述   3
1.2　概念與術(shù)語   5
1.3　機(jī)器學(xué)習(xí)視角   7
1.3.1  深度神經(jīng)網(wǎng)絡(luò)   7
1.3.2　經(jīng)典機(jī)器學(xué)習(xí)模型   9
1.3.3  橫向聯(lián)邦學(xué)習(xí)、縱向
聯(lián)邦學(xué)習(xí)和拆分學(xué)習(xí)   11
1.3.4  模型個(gè)性化   12
1.4　安全和隱私   13
1.4.1  操縱攻擊   14
1.4.2  推斷攻擊   15
1.5　聯(lián)邦學(xué)習(xí)系統(tǒng)   16
1.6　本章小結(jié)   18
第2章  采用基于樹的模型的聯(lián)邦
學(xué)習(xí)系統(tǒng)   25
2.1　介紹   25
2.1.1  基于樹的模型   26
2.1.2  聯(lián)邦學(xué)習(xí)中基于樹的
模型的關(guān)鍵研究挑戰(zhàn)   27
2.1.3  聯(lián)邦學(xué)習(xí)中基于樹的
模型的優(yōu)勢   27
2.2　基于樹的聯(lián)邦學(xué)習(xí)方法
綜述   28
2.2.1  橫向與縱向聯(lián)邦
學(xué)習(xí)   29
2.2.2  聯(lián)邦學(xué)習(xí)中基于樹的
算法類型   30
2.2.3  基于樹的聯(lián)邦學(xué)習(xí)的
安全需求   30
2.2.4  聯(lián)邦學(xué)習(xí)中基于樹的
模型的實(shí)現(xiàn)   31
2.3　決策樹和梯度提升的初步
探討   31
2.3.1  聯(lián)邦學(xué)習(xí)系統(tǒng)   31
2.3.2  集中式ID3模型初探   32
2.3.3  梯度提升初探   33
2.4　用于聯(lián)邦學(xué)習(xí)的決策樹   34
2.5　用于聯(lián)邦學(xué)習(xí)的
XGBoost   37
2.6　開放性問題及未來研究
方向   41
2.6.1  數(shù)據(jù)保真度閾值策略   41
2.6.2  基于樹的聯(lián)邦學(xué)習(xí)
模型的公平性和偏差
緩解方法   41
2.6.3  在其他網(wǎng)絡(luò)拓?fù)渖嫌?xùn)練
基于樹的聯(lián)邦學(xué)習(xí)
模型   41
2.7　本章小結(jié)   42
第3章  語義向量化：基于文本和
圖的模型   47
3.1　介紹   47
3.2　背景   48
3.2.1  自然語言處理   48
3.2.2  文本向量化器   49
3.2.3  圖向量化器   50
3.3　問題表述   51
3.3.1  共同學(xué)習(xí)   51
3.3.2  向量空間映射   52
3.4　實(shí)驗(yàn)與設(shè)置   54
3.4.1  數(shù)據(jù)集   54
3.4.2  實(shí)現(xiàn)   55
3.5　結(jié)果：共同學(xué)習(xí)   55
3.6　結(jié)果：向量空間映射   57
3.6.1  余弦距離   57
3.6.2  排名相似度   58
3.7　本章小結(jié)   58
第4章  聯(lián)邦學(xué)習(xí)中的個(gè)性化   63
4.1　介紹   63
4.2　個(gè)性化的第一步   65
4.2.1  對全局模型進(jìn)行個(gè)性化
微調(diào)   65
4.2.2  作為一階元學(xué)習(xí)方法的
聯(lián)邦平均   65
4.3　個(gè)性化策略   66
4.3.1  客戶端(參與方)聚類   67
4.3.2  客戶端語境化   68
4.3.3  數(shù)據(jù)增強(qiáng)   70
4.3.4  蒸餾   70
4.3.5  元學(xué)習(xí)方法   71
4.3.6  模型混合   72
4.3.7  模型正則化   74
4.3.8  多任務(wù)學(xué)習(xí)   76
4.4　個(gè)性化技術(shù)的基準(zhǔn)   77
4.4.1  合成聯(lián)邦數(shù)據(jù)集   77
4.4.2  模擬聯(lián)邦數(shù)據(jù)集   77
4.4.3  公共聯(lián)邦數(shù)據(jù)集   78
4.5　偶然參數(shù)問題   79
4.6　本章小結(jié)   80
第5章  使用Fed 進(jìn)行個(gè)性化的魯
棒聯(lián)邦學(xué)習(xí)   87
5.1　介紹   87
5.2　文獻(xiàn)綜述   88
5.3　聯(lián)邦學(xué)習(xí)訓(xùn)練失敗的
示例   89
5.4　個(gè)性化聯(lián)邦學(xué)習(xí)   91
5.4.1  問題表述   91
5.4.2  處理魯棒聚合   92
5.4.3  個(gè)性化   93
5.4.4  均值與魯棒聚合的重
組與統(tǒng)一   93
5.4.5  Fed 算法   95
5.4.6　Fed 的均值和魯棒
變體   95
5.4.7  從Fed 推導(dǎo)現(xiàn)有算法 97
5.5　Fed 的固定點(diǎn)   97
5.6　收斂性分析   100
5.7　實(shí)驗(yàn)   103
5.7.1  數(shù)據(jù)集   103
5.7.2  結(jié)果   104
5.8　本章小結(jié)   105
第6章  通信高效的分布式優(yōu)化
算法   109
6.1　介紹   109
6.2　本地更新SGD和
FedAvg   111
6.2.1  本地更新SGD及其
變體   111
6.2.2  FedAvg算法及其
變體   114
6.3　模型壓縮   116
6.3.1  帶有壓縮更新的
SGD   116
6.3.2  自適應(yīng)壓縮率   120
6.3.3  模型剪枝   121
6.4　本章小結(jié)   121
第7章  通信高效的模型融合 127
7.1　介紹   127
7.2　模型的置換不變結(jié)構(gòu)   128
7.2.1  匹配平均的一般
表述   129
7.2.2  求解匹配平均   130
7.3　概率聯(lián)邦神經(jīng)匹配   131
7.3.1  PFNM生成過程   131
7.3.2  PFNM推理   132
7.3.3  實(shí)踐中的PFNM   135
7.4　帶有SPAHM的無監(jiān)督
聯(lián)邦學(xué)習(xí)   136
7.4.1  SPAHM模型   137
7.4.2  SPAHM推理   137
7.4.3  實(shí)踐中的SPAHM   138
7.5　后驗(yàn)分布的模型融合   140
7.5.1  KL散度下的模型
融合   140
7.5.2  實(shí)踐中的KL-fusion  142
7.6　低通信預(yù)算的深度神經(jīng)
網(wǎng)絡(luò)融合   143
7.6.1  將PFNM擴(kuò)展到深度
神經(jīng)網(wǎng)絡(luò)   144
7.6.2  實(shí)踐中的FedMA   146
7.7　模型融合的理論理解   147
7.7.1  預(yù)備知識：參數(shù)化
模型   147
7.7.2  聯(lián)邦設(shè)置中模型融合的
優(yōu)點(diǎn)和缺點(diǎn)   149
7.8　本章小結(jié)   150
第8章  聯(lián)邦學(xué)習(xí)與公平性   155
8.1　介紹   155
8.2　預(yù)備知識和現(xiàn)有的緩解
方法   156
8.2.1  符號和術(shù)語   156
8.2.2  偏差緩解方法的
類型   157
8.2.3  數(shù)據(jù)隱私和偏差   157
8.3　偏差來源   158
8.3.1  集中式和聯(lián)邦式的
原因   158
8.3.2  聯(lián)邦學(xué)習(xí)的特定
原因   159
8.4　文獻(xiàn)探究   160
8.4.1  集中式方法   160
8.4.2  聯(lián)邦學(xué)習(xí)采用集中式
方法   162
8.4.3  沒有敏感屬性的偏差
緩解   163
8.5　衡量偏差   164
8.6　未解決的問題   164
8.7  本章小結(jié)   165
第Ⅱ部分  系統(tǒng)和框架
第9章  聯(lián)邦學(xué)習(xí)系統(tǒng)介紹   171
9.1　介紹   171
9.2　跨設(shè)備聯(lián)邦學(xué)習(xí)與跨孤島
聯(lián)邦學(xué)習(xí)   172
9.3　跨設(shè)備聯(lián)邦學(xué)習(xí)   173
9.3.1  問題表述   173
9.3.2  系統(tǒng)概述   174
9.3.3  訓(xùn)練過程   175
9.3.4  挑戰(zhàn)   176
9.4　跨孤島聯(lián)邦學(xué)習(xí)   178
9.4.1  問題表述   178
9.4.2  系統(tǒng)概述   178
9.4.3  訓(xùn)練過程   179
9.4.4  挑戰(zhàn)   180
9.5　本章小結(jié)   182
第10章  聯(lián)邦學(xué)習(xí)系統(tǒng)的本地
訓(xùn)練和可擴(kuò)展性   187
10.1　參與方本地訓(xùn)練   187
10.1.1  計(jì)算資源   187
10.1.2  內(nèi)存   188
10.1.3  能量   189
10.1.4  網(wǎng)絡(luò)   190
10.2　大規(guī)模聯(lián)邦學(xué)習(xí)系統(tǒng)   192
10.2.1  聚類聯(lián)邦學(xué)習(xí)   192
10.2.2  分層聯(lián)邦學(xué)習(xí)   194
10.2.3  去中心化聯(lián)邦
學(xué)習(xí)   197
10.2.4  異步聯(lián)邦學(xué)習(xí)   199
10.3　本章小結(jié)   201
第11章  掉隊(duì)者管理   205
11.1　介紹   205
11.2　異構(gòu)性影響研究   206
11.2.1  制定標(biāo)準(zhǔn)的聯(lián)邦
學(xué)習(xí)   206
11.2.2  異構(gòu)性影響分析   207
11.2.3  實(shí)驗(yàn)研究   208
11.3　TiFL的設(shè)計(jì)   209
11.3.1  系統(tǒng)概述   209
11.3.2  分析和分層   210
11.3.3  稻草人提議：靜態(tài)層
選擇算法   211
11.3.4  自適應(yīng)層選擇
算法   211
11.3.5  訓(xùn)練時(shí)間估計(jì)
模型   213
11.4　實(shí)驗(yàn)評估   214
11.4.1  實(shí)驗(yàn)設(shè)置   214
11.4.2  資源異構(gòu)性   217
11.4.3  數(shù)據(jù)異構(gòu)性   218
11.4.4  資源加數(shù)據(jù)
異構(gòu)性   219
11.4.5  自適應(yīng)選擇策略   221
11.4.6  TiFL的評估   222
11.5　本章小結(jié)   223
第12章  聯(lián)邦學(xué)習(xí)中的系統(tǒng)
偏差   227
12.1　介紹   227
12.2　背景   228
12.2.1  機(jī)器學(xué)習(xí)中的
公平性   229
12.2.2  聯(lián)邦學(xué)習(xí)中的
公平性   229
12.2.3  聯(lián)邦學(xué)習(xí)中的資源
使用   229
12.3　特性研究   230
12.3.1  性能指標(biāo)   230
12.3.2  公平性與訓(xùn)練時(shí)間的
權(quán)衡   231
12.3.3  參與方退出對公平性
和模型誤差的
影響   232
12.3.4  成本與模型誤差的
權(quán)衡   232
12.4　方法論   233
12.4.1  問題表述   233
12.4.2  DCFair概述   234
12.4.3  選擇概率   234
12.4.4  選擇互惠性   235
12.5　評估   236
12.5.1  成本分析   237
12.5.2  模型誤差與公平性
分析   237
12.5.3  訓(xùn)練時(shí)間分析   238
12.5.4  帕累托最優(yōu)性
分析   239
12.6　本章小結(jié)   240
第Ⅲ部分  隱私和安全
第13章  聯(lián)邦學(xué)習(xí)中應(yīng)對隱私威脅
的防御措施   247
13.1　介紹   247
13.2　系統(tǒng)實(shí)體、攻擊面和推斷
攻擊   249
13.2.1  系統(tǒng)設(shè)置、假設(shè)和
攻擊面   250
13.2.2  潛在對手   250
13.2.3  聯(lián)邦學(xué)習(xí)中的推斷
攻擊   251
13.3　減輕聯(lián)邦學(xué)習(xí)中的推斷
威脅   256
13.3.1  安全聚合方法   258
13.3.2  句法和擾動方法   262
13.3.3  可信執(zhí)行環(huán)境   264
13.3.4  其他分布式機(jī)器
學(xué)習(xí)和縱向聯(lián)邦
學(xué)習(xí)技術(shù)   265
13.4　選擇合適的防御措施   265
13.4.1  完全可信的聯(lián)邦   265
13.4.2  確保聚合器可信   266
13.4.3  聚合器不可信的
聯(lián)邦   266
13.5　本章小結(jié)   267
第14章  聯(lián)邦學(xué)習(xí)中的隱私參數(shù)
聚合   277
14.1　介紹   277
14.2　重點(diǎn)、信任模型和
假設(shè)   278
14.3　差分隱私聯(lián)邦學(xué)習(xí)   279
14.3.1  差分隱私的背景
知識   279
14.3.2  將差分隱私應(yīng)用于
SGD   280
14.3.3  實(shí)驗(yàn)和討論   281
14.4　加法同態(tài)加密   283
14.4.1  參與方、學(xué)習(xí)器和
管理域   284
14.4.2  架構(gòu)   284
14.4.3  MYSTIKO算法   285
14.4.4  一個(gè)管理域內(nèi)有多個(gè)
學(xué)習(xí)器   288
14.5　可信執(zhí)行環(huán)境   289
14.6　基于HE和TEE的聚合
與SMC的比較   291
14.6.1  MYSTIKO和SPDZ
的比較   291
14.6.2  使用TEE的開銷：
AMD SEV   293
14.7　本章小結(jié)   293
第15章  聯(lián)邦學(xué)習(xí)中的數(shù)據(jù)
泄露   299
15.1　介紹   299
15.1.1  動機(jī)   299
15.1.2  背景及相關(guān)研究   300
15.1.3  隱私保護(hù)   302
15.2　聯(lián)邦學(xué)習(xí)中的數(shù)據(jù)泄露
攻擊   305
15.3　性能評估   310
15.3.1  實(shí)驗(yàn)設(shè)置和數(shù)據(jù)集  310
15.3.2  HFL設(shè)置中的
CAFE   311
15.3.3  VFL設(shè)置中的
CAFE   314
15.3.4  在聯(lián)邦學(xué)習(xí)訓(xùn)練
過程中攻擊   314
15.3.5  消融實(shí)驗(yàn)   315
15.4　本章小結(jié)   317
15.4.1  CAFE小結(jié)   317
15.4.2  相關(guān)討論   317
第16章  聯(lián)邦學(xué)習(xí)中的安全性和
魯棒性   323
16.1　介紹   323
16.2　聯(lián)邦學(xué)習(xí)中的威脅   324
16.2.1  攻擊者的類型   325
16.2.2  攻擊者的能力   326
16.2.3  攻擊者的目標(biāo)   327
16.2.4  攻擊者的了解
程度   328
16.2.5  攻擊策略   329
16.3　防御策略   329
16.3.1  防御收斂攻擊   331
16.3.2  基于參與方的時(shí)間
一致性的防御   334
16.3.3  基于冗余的防御   336
16.4　攻擊   336
16.4.1  收斂攻擊   337
16.4.2  針對性的模型
投毒   339
16.5　本章小結(jié)   340
第17章  處理神經(jīng)網(wǎng)絡(luò)中的
拜占庭威脅   347
17.1　背景和動機(jī)   347
17.1.1  拜占庭威脅   348
17.1.2  緩解拜占庭威脅
影響的挑戰(zhàn)   349
17.2　基于梯度的魯棒性   350
17.2.1  梯度平均   351
17.2.2  威脅模型   352
17.2.3  坐標(biāo)中位數(shù)   352
17.2.4  Krum   353
17.3　對拜占庭威脅的分層
魯棒性   354
17.4　LEGATO：分層梯度
聚合   357
17.4.1  LEGATO   357
17.4.2  LEGATO的復(fù)雜度
分析   360
17.5　比較基于梯度和分層的
魯棒性   360
17.5.1  處理非IID參與方
數(shù)據(jù)分布   361
17.5.2  處理拜占庭失敗   361
17.5.3  處理過參數(shù)化神經(jīng)
網(wǎng)絡(luò)   363
17.5.4  日志大小的
有效性   364
17.6　本章小結(jié)   364
第Ⅳ部分  橫向聯(lián)邦學(xué)習(xí)之外：
以不同方式劃分模型和數(shù)據(jù)
第18章  保護(hù)隱私的縱向聯(lián)邦
學(xué)習(xí)   371
18.1　介紹   371
18.2　理解縱向聯(lián)邦學(xué)習(xí)   372
18.2.1  符號、術(shù)語和
假設(shè)   373
18.2.2  縱向聯(lián)邦學(xué)習(xí)的
兩個(gè)階段   373
18.3　在縱向聯(lián)邦學(xué)習(xí)中應(yīng)用
梯度下降的挑戰(zhàn)   374
18.3.1  集中式機(jī)器學(xué)習(xí)中的
梯度下降   375
18.3.2  縱向聯(lián)邦學(xué)習(xí)中的
梯度下降   375
18.4　典型的縱向聯(lián)邦學(xué)習(xí)解決
方案   376
18.4.1  對比通信拓?fù)浜?br />效率   376
18.4.2  對比隱私保護(hù)機(jī)制
及其威脅模型   378
18.4.3  對比支持的機(jī)器學(xué)習(xí)
模型   379
18.5　FedV：一種高效的縱向
聯(lián)邦學(xué)習(xí)框架   380
18.5.1  FedV概述   380
18.5.2  FedV威脅模型和
假設(shè)   381
18.5.3  縱向訓(xùn)練過程：
FedV-SecGrad   382
18.5.4  分析與討論   385
18.6　本章小結(jié)   386
第19章  拆分學(xué)習(xí)   391
19.1　介紹   391
19.2　通信效率   393
19.3　延遲   394
19.4　拆分學(xué)習(xí)拓?fù)浣Y(jié)構(gòu)   394
19.4.1  多樣的配置   394
19.4.2  用ExpertMatcher
進(jìn)行模型選擇   396
19.4.3  實(shí)現(xiàn)詳情   396
19.5　利用拆分學(xué)習(xí)進(jìn)行協(xié)作
推斷   397
19.5.1  在協(xié)作推斷中防止
重建攻擊   398
19.5.2  激活值共享的差分
隱私   399
19.6　本章小結(jié)   399
第Ⅴ部分  應(yīng)用
第20章  聯(lián)邦學(xué)習(xí)在協(xié)同金融
犯罪偵查中的應(yīng)用  405
20.1　金融犯罪偵查簡介   405
20.1.1  利用機(jī)器學(xué)習(xí)和圖
學(xué)習(xí)打擊金融
犯罪   406
20.1.2  全球金融犯罪檢測的
需求與貢獻(xiàn)   406
20.2　圖學(xué)習(xí)   406
20.3　用于金融犯罪檢測的
聯(lián)邦學(xué)習(xí)   407
20.3.1  本地特征計(jì)算   407
20.3.2  全局特征計(jì)算   407
20.3.3  聯(lián)邦學(xué)習(xí)   408
20.4　評估   408
20.4.1  數(shù)據(jù)集和圖建模   408
20.4.2  參與方關(guān)系圖的圖
特征   409
20.4.3  模型準(zhǔn)確性   410
20.5　本章小結(jié)   412
第21章  投資組合管理的聯(lián)邦
強(qiáng)化學(xué)習(xí)   415
21.1　介紹   415
21.2　深度強(qiáng)化學(xué)習(xí)公式   416
21.3　金融投資組合管理   416
21.4　數(shù)據(jù)增強(qiáng)方法   418
21.4.1  幾何布朗運(yùn)動   418
21.4.2  可變階馬爾可夫
模型   418
21.4.3  生成對抗網(wǎng)絡(luò)   418
21.5　實(shí)驗(yàn)結(jié)果   419
21.5.1  實(shí)驗(yàn)設(shè)置   419
21.5.2  數(shù)值結(jié)果   421
21.6　本章小結(jié)   426
第22章  聯(lián)邦學(xué)習(xí)在醫(yī)學(xué)影像中的
應(yīng)用   429
22.1　介紹   429
22.2　圖像分割   431
22.3　3D圖像分類   432
22.4　2D圖像分類   435
22.5　討論   437
22.6　本章小結(jié)   438
第23章  通過聯(lián)邦學(xué)習(xí)推進(jìn)醫(yī)療
保健解決方案   445
23.1　介紹   445
23.2　聯(lián)邦學(xué)習(xí)如何應(yīng)用于
醫(yī)療保健   446
23.3　使用IBM FL構(gòu)建醫(yī)療
保健聯(lián)邦學(xué)習(xí)平臺   447
23.4　醫(yī)療保健領(lǐng)域應(yīng)用聯(lián)邦
學(xué)習(xí)構(gòu)建平臺和解決方案
的指導(dǎo)原則   448
23.4.1  基礎(chǔ)設(shè)施設(shè)計(jì)   448
23.4.2  數(shù)據(jù)連接器設(shè)計(jì)   448
23.4.3  用戶體驗(yàn)設(shè)計(jì)   448
23.4.4  部署注意事項(xiàng)   449
23.5　醫(yī)療保健領(lǐng)域聯(lián)邦學(xué)習(xí)的
核心技術(shù)考慮事項(xiàng)   449
23.5.1  數(shù)據(jù)異構(gòu)性   449
23.5.2  模型治理和激勵   450
23.5.3  信任和隱私考慮   450
23.6  本章小結(jié)   451
第24章  保護(hù)隱私的產(chǎn)品推薦
系統(tǒng)   453
24.1　介紹   453
24.2　相關(guān)研究   455
24.3　聯(lián)邦推薦系統(tǒng)   455
24.3.1  算法   457
24.3.2  實(shí)現(xiàn)   458
24.4　結(jié)果   460
24.5　本章小結(jié)   462
第25章  聯(lián)邦學(xué)習(xí)在電信和邊緣
計(jì)算中的應(yīng)用   465
25.1　概述   465
25.2　用例   466
25.2.1  車輛網(wǎng)絡(luò)   466
25.2.2  跨境支付   466
25.2.3  邊緣計(jì)算   467
25.2.4  網(wǎng)絡(luò)攻擊   467
25.2.5  6G   468
25.2.6 “緊急服務(wù)”用例演示
聯(lián)邦學(xué)習(xí)的能力   469
25.3　挑戰(zhàn)與未來方向   471
25.3.1  安全和隱私挑戰(zhàn)及
注意事項(xiàng)   471
25.3.2  環(huán)境方面的考慮   471
25.3.3  數(shù)據(jù)方面的考慮   471
25.3.4  監(jiān)管方面的考慮   472
25.4　本章小結(jié)   472