MLOps工程實(shí)踐：工具、技術(shù)與企業(yè)級(jí)應(yīng)用

CONTENTS
目??錄
作者簡(jiǎn)介
前言
第1章　全面了解MLOps1
1.1　人工智能的趨勢(shì)和現(xiàn)狀　1
1.1.1　趨勢(shì)1：人工智能在企業(yè)中加速落地，彰顯更多業(yè)務(wù)價(jià)值　1
1.1.2　趨勢(shì)2：人工智能應(yīng)用從以模型為中心向以數(shù)據(jù)為中心轉(zhuǎn)變　3
1.1.3　現(xiàn)狀：人工智能落地成功率低，
成本高　4
1.2　人工智能的問題、挑戰(zhàn)以及應(yīng)對(duì)措施　5
1.2.1　問題1：機(jī)器學(xué)習(xí)代碼只是整個(gè)系統(tǒng)的一小部分　5
1.2.2　問題2：數(shù)據(jù)是最主要的問題　6
1.2.3　挑戰(zhàn)：人工智能系統(tǒng)
如何規(guī)?；涞亍?
1.2.4　應(yīng)對(duì)措施：MLOps　8
1.3　MLOps簡(jiǎn)介　8
1.3.1　MLOps的定義　8
1.3.2　MLOps相關(guān)的工具和平臺(tái)　12
1.3.3　MLOps的優(yōu)勢(shì)　13
1.4　MLOps與DevOps　14
1.4.1　DevOps的3個(gè)優(yōu)點(diǎn)　14
1.4.2　MLOps延續(xù)了DevOps的優(yōu)點(diǎn)　17
1.4.3　MLOps和DevOps的不同之處　19
1.4.4　MLOps和DevOps的目標(biāo)與
實(shí)踐理念　20
1.5　MLOps與其他XOps的區(qū)別　20
1.5.1　MLOps與AIOps的區(qū)別　21
1.5.2　MLOps與DataOps的區(qū)別　21
1.5.3　MLOps與ModelOps的區(qū)別　22
1.5.4　XOps的相同點(diǎn)：
都基于DevOps原則　22
1.6　本章小結(jié)　22
第2章　MLOps涉及的角色23
2.1　角色類型　23
2.1.1　產(chǎn)品經(jīng)理　24
2.1.2　數(shù)據(jù)科學(xué)家　24
2.1.3　數(shù)據(jù)工程師　25
2.1.4　機(jī)器學(xué)習(xí)工程師　26
2.1.5　DevOps工程師　27
2.1.6　IT運(yùn)維工程師　27
2.2　角色劃分以及角色之間
存在的問題　28
2.2.1　角色劃分　28
2.2.2　問題1：技術(shù)棧不一致導(dǎo)致人工智能模型線上、線下效果不一致　28
2.2.3　問題2：關(guān)注點(diǎn)不同導(dǎo)致對(duì)系統(tǒng)的
需求不同　29
2.2.4　協(xié)作問題及解決辦法　30
2.3　本章小結(jié)　30
第3章　機(jī)器學(xué)習(xí)項(xiàng)目概論31
3.1　機(jī)器學(xué)習(xí)項(xiàng)目簡(jiǎn)介　31
3.1.1　機(jī)器學(xué)習(xí)的定義　31
3.1.2　機(jī)器學(xué)習(xí)相關(guān)概念　33
3.1.3　機(jī)器學(xué)習(xí)能解決的問題　37
3.1.4　機(jī)器學(xué)習(xí)項(xiàng)目度量　38
3.1.5　機(jī)器學(xué)習(xí)項(xiàng)目難以落地的
原因　41
3.2　深入理解機(jī)器學(xué)習(xí)項(xiàng)目全流程　44
3.2.1　方案調(diào)研　45
3.2.2　方案投產(chǎn)　49
3.3　本章小結(jié)　51
第4章　MLOps中的數(shù)據(jù)部分52
4.1　從以模型為中心到以數(shù)據(jù)為中心　52
4.1.1　以模型為中心的時(shí)代　52
4.1.2　以數(shù)據(jù)為中心的時(shí)代　53
4.2　MLOps中的數(shù)據(jù)生命周期管理　55
4.3　數(shù)據(jù)存儲(chǔ)架構(gòu)演進(jìn)　56
4.4　MLOps中主要的數(shù)據(jù)問題及
解決方案　57
4.4.1　常見的數(shù)據(jù)質(zhì)量問題及
解決方案　57
4.4.2　時(shí)序數(shù)據(jù)穿越問題及解決方案　59
4.4.3　離線和實(shí)時(shí)數(shù)據(jù)一致性問題及
解決方案　64
4.4.4　數(shù)據(jù)安全問題及解決方案　66
4.4.5　數(shù)據(jù)共享與復(fù)用問題及
解決方案　67
4.5　本章小結(jié)　67
第5章　流水線工具69
5.1　Airflow　69
5.1.1　Airflow的功能和應(yīng)用場(chǎng)景　69
5.1.2　Airflow的核心概念　72
5.1.3　Airflow的使用方法　72
5.2　MLflow　80
5.2.1　MLflow的功能和應(yīng)用場(chǎng)景　80
5.2.2　MLflow的核心概念　81
5.2.3　MLflow的使用方法　82
5.3　其他流水線工具　91
5.4　本章小結(jié)　93
第6章　特征平臺(tái)94
6.1　特征平臺(tái)的概念和起源　94
6.2　特征平臺(tái)的特性　96
6.3　特征平臺(tái)的現(xiàn)狀　97
6.4　主流的特征平臺(tái)　98
6.4.1　Tecton的特征平臺(tái)　99
6.4.2　AWS的SageMaker特征平臺(tái)　100
6.4.3　Databricks的特征平臺(tái)　102
6.4.4　Feast項(xiàng)目　103
6.4.5　OpenMLDB項(xiàng)目　105
6.5　特征平臺(tái)的發(fā)展趨勢(shì)　106
6.6　本章小結(jié)　107
第7章　 實(shí)時(shí)特征平臺(tái)
OpenMLDB108
7.1　實(shí)時(shí)特征平臺(tái)構(gòu)建方法論　108
7.1.1　機(jī)器學(xué)習(xí)閉環(huán)　108
7.1.2　實(shí)時(shí)特征計(jì)算　109
7.1.3　痛點(diǎn)：線上線下計(jì)算一致性
校驗(yàn)帶來的高成本　110
7.1.4　目標(biāo)：開發(fā)即上線　112
7.1.5　技術(shù)需求　112
7.1.6　抽象架構(gòu)　113
7.1.7　OpenMLDB架構(gòu)設(shè)計(jì)實(shí)踐　114
7.2　OpenMLDB項(xiàng)目介紹　116
7.2.1　設(shè)計(jì)理念　116
7.2.2　生產(chǎn)級(jí)機(jī)器學(xué)習(xí)特征平臺(tái)　116
7.2.3　核心特性　117
7.2.4　常見問題　117
7.3　核心模塊—在線引擎　118
7.3.1　概覽　118
7.3.2　Apache ZooKeeper　119
7.3.3　Nameserver　119
7.3.4　Tablet　120
7.4　核心數(shù)據(jù)結(jié)構(gòu)　122
7.4.1　背景介紹　122
7.4.2　雙層跳表索引　122
7.4.3　預(yù)聚合技術(shù)　124
7.4.4　性能表現(xiàn)　125
7.5　高級(jí)特性—主從集群部署　127
7.5.1　定義和目標(biāo)　127
7.5.2　技術(shù)方案　127
7.5.3　主從集群搭建實(shí)踐　130
7.5.4　主從集群部署常見問題　131
7.6　高級(jí)特性—雙存儲(chǔ)引擎　133
7.6.1　內(nèi)存和磁盤雙存儲(chǔ)
引擎架構(gòu)　133
7.6.2　功能支持對(duì)比　134
7.6.3　性能對(duì)比　135
7.7　執(zhí)行流程介紹　136
7.7.1　執(zhí)行流程概覽　136
7.7.2　執(zhí)行模式概覽　137
7.7.3　離線模式　137
7.7.4　在線模式　138
7.7.5　請(qǐng)求模式　138
7.8　實(shí)踐　139
7.8.1　準(zhǔn)備　140
7.8.2　使用流程　141
7.8.3　實(shí)時(shí)特征計(jì)算的結(jié)果說明　144
7.9　生態(tài)整合—在線數(shù)據(jù)源Kafka　145
7.9.1　簡(jiǎn)介　145
7.9.2　準(zhǔn)備工作　146
7.9.3　步驟1：?jiǎn)?dòng)OpenMLDB
并創(chuàng)建數(shù)據(jù)庫(kù)　146
7.9.4　步驟2：?jiǎn)?dòng)Kafka
并創(chuàng)建Topic　147
7.9.5　步驟3：?jiǎn)?dòng)Connector　147
7.9.6