聯(lián)邦學(xué)習(xí)：原理與算法

第 1 章緒論 1
1．1人工智能的發(fā)展 1
1．1． 1人工智能的定義 1
1． 1． 2人工智能的發(fā)展歷史及現(xiàn)狀 2
1． 1． 3機器學(xué)習(xí)與數(shù)據(jù) 3
1．2隱私保護浮出水面 4
1．2． 1隱私保護問題 5
1． 2． 2隱私保護的攻擊 5
1． 2． 3常見的隱私保護技術(shù) 7
1．3聯(lián)邦學(xué)習(xí)的誕生 8
1．3． 1聯(lián)邦學(xué)習(xí)的提出 8
1． 3． 2聯(lián)邦學(xué)習(xí)的范式 9
1．3． 3聯(lián)邦學(xué)習(xí)的應(yīng)用 12
1． 4本章小結(jié) 13
第 2 章聯(lián)邦學(xué)習(xí)基礎(chǔ) 15
2．1聯(lián)邦學(xué)習(xí)的基本概念 15
2． 2聯(lián)邦學(xué)習(xí)的發(fā)展歷程 17
2． 3聯(lián)邦學(xué)習(xí)的基本類別與流程 18
2． 3． 1橫向聯(lián)邦學(xué)習(xí) 18
2． 3． 2縱向聯(lián)邦學(xué)習(xí) 19
2． 3． 3聯(lián)邦遷移學(xué)習(xí) 19
2． 3． 4聯(lián)邦強化學(xué)習(xí) 20
2．4聯(lián)邦學(xué)習(xí)的應(yīng)用場景 21
2． 5本章小結(jié) 21
第 3 章中央服務(wù)器優(yōu)化算法 23
3．1聯(lián)邦隨機梯度下降算法 23
3． 1． 1算法框架及參數(shù) 23
3． 1． 2目標(biāo)函數(shù) 24
3． 1． 3算法流程 25
3． 2聯(lián)邦平均算法 25
3． 2． 1算法框架及參數(shù) 26
3． 2． 2目標(biāo)函數(shù) 27
3． 2． 3算法流程 27
3． 3差分隱私聯(lián)邦隨機梯度下降算法 28
3． 3． 1算法框架及參數(shù) 28
3． 3． 2相關(guān)函數(shù)說明 29
3． 3． 3算法流程 30
3． 4差分隱私聯(lián)邦平均算法 31
3． 4． 1算法框架及參數(shù) 31
3． 4． 2算法流程 32
3． 5基于損失的自適應(yīng)提升聯(lián)邦學(xué)習(xí)算法 33
3． 5． 1算法框架及參數(shù) 34
3． 5． 2算法流程 35
3． 6自平衡聯(lián)邦學(xué)習(xí)算法 36
3． 6． 1算法框架及參數(shù) 36
3． 6． 2算法流程 37
3． 7聯(lián)邦近端算法 39
3． 7． 1算法框架及參數(shù) 40
3． 7． 2模塊介紹 41
3． 7． 3算法流程 42
3． 8不可知聯(lián)邦學(xué)習(xí)算法 43
3． 9 基于概率的聯(lián)邦網(wǎng)絡(luò)匹配算法Ⅰ： 單隱層神經(jīng)網(wǎng)絡(luò)匹配算法 50
3． 9． 1算法框架及參數(shù) 50
3． 9． 2模塊介紹 53
3． 9． 3算法流程 56
3． 10基于概率的聯(lián)邦網(wǎng)絡(luò)匹配算法Ⅱ： 多隱層神經(jīng)網(wǎng)絡(luò)匹配算法 57
3． 10． 1算法框架及參數(shù) 57
3． 10． 2模塊介紹 59
3． 10． 3算法流程 63
3．11聯(lián)邦匹配平均算法 64
3． 11． 1算法框架及參數(shù) 64
3． 11． 2目標(biāo)函數(shù) 65
3． 11． 3算法流程 66
3． 12本章小結(jié) 67
第 4 章聯(lián)邦回歸算法 69
4．1聯(lián)邦機器學(xué)習(xí)算法的定義 69
4． 1． 1水平型分布數(shù)據(jù) 70
4．1． 2垂直型分布數(shù)據(jù) 70
4． 2線性回歸 70
4． 2． 1橫向線性回歸 71
4． 2． 2縱向線性回歸 74
4． 3邏輯回歸 80
4． 3． 1橫向邏輯回歸 81
4． 3． 2縱向邏輯回歸 88
4． 4本章小結(jié) 96
第 5 章聯(lián)邦分類算法 97
5．1樸素貝葉斯分類法 97
5． 1． 1貝葉斯定理 97
5． 1． 2樸素貝葉斯分類的思想和工作過程 97
5． 1． 3橫向樸素貝葉斯分類 98
5．1． 4縱向樸素貝葉斯分類 102
5． 2支持向量機 107
5． 2． 1橫向支持向量機 109
5． 2． 2縱向支持向量機 116
5． 3本章小結(jié) 124
第 6 章聯(lián)邦樹模型 125
6． 1決策樹 125
6． 1． 1橫向決策樹 126
6． 1． 2縱向決策樹 131
6．2XGBoost 138
6． 2． 1參數(shù)及含義 139
6． 2． 2加法同態(tài) 140
6．2． 3SecureBoost 算法的流程 140
6． 3本章小結(jié) 143
第 7 章聯(lián)邦推薦算法 145
7． 1K 均值算法 145
7．1． 1橫向K 均值聚類算法 146
7． 1． 2縱向K 均值聚類算法 149
7． 1． 3任意數(shù)據(jù) K 均值聚類算法 158
7． 1． 4安全兩方 K 均值聚類算法 162
7． 2因子分解機 166
7．3基于近鄰的協(xié)同過濾算法 171
7． 3． 1基于近鄰的傳統(tǒng)協(xié)同過濾算法 171
7． 3． 2基于用戶的聯(lián)邦協(xié)同過濾算法 173
7． 4基于矩陣的協(xié)同過濾算法 178
7． 4． 1基于矩陣的傳統(tǒng)協(xié)同過濾算法 178
7． 4． 2基于矩陣的聯(lián)邦協(xié)同過濾算法 178
7． 5矩陣分解算法 186
7． 5． 1基于 SGD 的聯(lián)邦矩陣分解算法 186
7． 5． 2基于多視圖的聯(lián)邦矩陣分解算法 190
7． 5． 3興趣點推薦算法 195
7． 5． 4基于差分隱私的聯(lián)邦矩陣分解算法 197
7． 5． 5基于混淆電路的聯(lián)邦矩陣分解算法 200
7． 5． 6基于相似度的聯(lián)邦矩陣分解算法 205
7． 5． 7基于因子分析的聯(lián)邦矩陣分解算法 209
7．5． 8基于深度學(xué)習(xí)的聯(lián)邦矩陣分解算法 211
7． 6本章小結(jié) 213
第 8 章聯(lián)邦學(xué)習(xí)系統(tǒng)的隱私與安全 215
8．1問題描述與安全模型 215
8． 2聯(lián)邦學(xué)習(xí)隱私保護技術(shù) 216
8． 2． 1秘密共享 216
8． 2． 2不經(jīng)意傳輸 218
8． 2． 3混淆電路 220
8． 2． 4同態(tài)加密 222
8． 2． 5差分隱私 224
8．3聯(lián)邦學(xué)習(xí)安全防護技術(shù) 226
8． 3． 1密碼算法 226
8． 3． 2身份認證 229
8． 3． 3通信安全 231
8． 3． 4存儲安全 233
8． 3． 5可信計算 235
8． 4本章小結(jié) 237
第 9 章聯(lián)邦學(xué)習(xí)的服務(wù)質(zhì)量 239
9．1聯(lián)邦學(xué)習(xí)服務(wù)質(zhì)量的定義 239
9． 1． 1聯(lián)邦學(xué)習(xí)服務(wù)質(zhì)量的由來 239
9． 1． 2什么是聯(lián)邦學(xué)習(xí)服務(wù)質(zhì)量評估 241
9． 2聯(lián)邦學(xué)習(xí)服務(wù)質(zhì)量的評估維度 242
9． 2． 1模型性能 242
9． 2． 2數(shù)據(jù)傳輸效率 243
9． 2． 3網(wǎng)絡(luò)性能 243
9． 2． 4計算資源
9． 2． 5聯(lián)邦建模的魯棒性
9． 3聯(lián)邦學(xué)習(xí)服務(wù)質(zhì)量的理論體系
9． 3． 1模型性能的評價指標(biāo)
9． 3． 2聯(lián)邦學(xué)習(xí)的通信指標(biāo)
9． 3． 3資源調(diào)度代價
9． 3． 4聯(lián)邦建模的魯棒性
9． 3． 5隱私保護技術(shù)的選取
9． 3． 6權(quán)值更新方法
9． 4提升聯(lián)邦學(xué)習(xí)服務(wù)質(zhì)量的方法
9． 4． 1聯(lián)邦學(xué)習(xí)的算法優(yōu)化
9． 4． 2聯(lián)邦學(xué)習(xí)的通信優(yōu)化
9． 4． 3聯(lián)邦學(xué)習(xí)的末位淘汰
9． 4． 4增強聯(lián)邦學(xué)習(xí)系統(tǒng)的魯棒性
9．5本章小結(jié)
第 10 章聯(lián)邦學(xué)習(xí)的研究趨勢
10．1聯(lián)邦學(xué)習(xí)的優(yōu)化研究
10． 2聯(lián)邦學(xué)習(xí)的安全和隱私研究
10． 3聯(lián)邦學(xué)習(xí)的應(yīng)用領(lǐng)域研究
10． 4本章小結(jié)
附錄
附錄 ACholesky 分解
附錄 BLDLT 分解
附錄 C共軛梯度法
參考文獻