大數(shù)據(jù)可視化分析建模：人人都是數(shù)據(jù)分析師

目 錄

第1章　數(shù)據(jù)分析導論 1
1.1　數(shù)據(jù)分析的基礎(chǔ)概念 1
1.1.1　商業(yè)智能 1
1.1.2　數(shù)據(jù)倉庫 1
1.1.3　數(shù)據(jù)倉庫與其他概念的關(guān)系 1
1.1.4　云計算 2
1.2　數(shù)據(jù)分析的主要流程 2
1.2.1　場景理解-明確目標，理解需求，搭建框架 2
1.2.2　數(shù)據(jù)準備-數(shù)據(jù)收集、清洗、集成等 2
1.2.3　數(shù)據(jù)處理-數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)提取、數(shù)據(jù)計算等 2
1.2.4　數(shù)據(jù)分析-結(jié)合業(yè)務(wù)，探索數(shù)據(jù)，發(fā)現(xiàn)規(guī)律 3
1.2.5　結(jié)果發(fā)布-將獲取的知識轉(zhuǎn)化成報告、大屏或者實現(xiàn)數(shù)據(jù)挖掘過程 3
1.3　數(shù)據(jù)分析的主要作用 3
1.4　數(shù)據(jù)分析的主要方法 3
1.4.1　5W2H分析方法 4
1.4.2　邏輯樹分析方法 5
1.4.3　PEST分析方法 5
1.4.4　多維度拆解分析方法 6
1.4.5　對比分析方法 6
1.5　數(shù)據(jù)分析的邏輯思維 7
1.5.1　需求梳理 7
1.5.2　維度設(shè)計 7
1.5.3　數(shù)據(jù)準備 8
1.5.4　模型創(chuàng)建 8
1.5.5　模型成效 8
1.6　數(shù)據(jù)分析的結(jié)果應(yīng)用 9
1.6.1　數(shù)據(jù)可視化 9
1.6.2　數(shù)據(jù)分析報告 11
第2章　數(shù)據(jù)分析模型設(shè)計 12
2.1　思維導圖與數(shù)據(jù)建模 12
2.1.1　什么是思維導圖 12
2.1.2　思維導圖的價值 12
2.1.3　思維導圖在數(shù)據(jù)建模中的應(yīng)用 12
2.1.4　常用思維導圖工具 13
2.2　數(shù)據(jù)分析模型的定義 13
2.3　數(shù)據(jù)分析模型的分類 15
2.3.1　按復(fù)雜程度分類 15
2.3.2　按適用范圍分類 15
2.3.3　按業(yè)務(wù)屬性分類 15
2.3.4　按計算方式分類 15
2.3.5　按業(yè)務(wù)場景分類 16
2.4　如何明確分析模型的應(yīng)用場景 16
2.5　如何選擇和細化分析對象 17
2.6　數(shù)據(jù)分析模型創(chuàng)建的一般步驟 17
2.7　數(shù)據(jù)分析建模常見誤區(qū) 18
第3章　數(shù)據(jù)準備及工作表管理 19
3.1　大數(shù)據(jù)分析平臺應(yīng)用基礎(chǔ) 19
3.1.1　平臺登錄方法 19
3.1.2　用戶賬號及管理 19
3.1.3　平臺主要功能 21
3.2　數(shù)據(jù)源準備及數(shù)據(jù)上傳 34
3.2.1　數(shù)據(jù)手動上傳 34
3.2.2　數(shù)據(jù)庫對接自動更新 37
3.2.3　數(shù)據(jù)追加和替換 42
3.3　工作表管理 44
3.3.1　創(chuàng)建工作表文件夾 44
3.3.2　工作表文件夾管理 45
3.3.3　數(shù)據(jù)預(yù)覽 45
3.3.4　字段設(shè)置和管理 47
3.3.5　工作表刪除 47
3.3.6　工作表關(guān)聯(lián)概況 48
3.3.7　數(shù)據(jù)授權(quán)和共享 49
第4章　數(shù)據(jù)可視化圖表創(chuàng)建 50
4.1　圖表類型概述 50
4.1.1　表格 50
4.1.2　成分 51
4.1.3　時間序列 54
4.1.4　頻率分布 59
4.1.5　相關(guān)性 60
4.1.6　多重數(shù)據(jù)比較 61
4.1.7　聚類趨勢圖 62
4.1.8　層次關(guān)系 64
4.1.9　位置相關(guān) 65
4.1.10　數(shù)值 66
4.2　儀表盤管理方法 68
4.2.1　新建儀表盤文件夾 69
4.2.2　新建儀表盤 69
4.2.3　儀表盤管理 71
4.2.4　儀表盤導出 71
4.3　分析圖表的創(chuàng)建方法 72
4.3.1　添加圖表 72
4.3.2　選擇數(shù)據(jù)表 73
4.3.3　圖表創(chuàng)建工作區(qū)操作 73
4.3.4　配置維度和數(shù)值 74
4.3.5　圖表名稱命名 76
4.3.6　圖表類型選擇 76
4.4　分析圖表的設(shè)置方法 77
4.4.1　圖表顏色設(shè)置 77
4.4.2　預(yù)警線設(shè)置 81
4.4.3　輔助線設(shè)置 85
4.4.4　圖內(nèi)總計設(shè)置 87
4.4.5　圖表標簽設(shè)置 87
4.4.6　縮略軸設(shè)置 88
4.4.7　圖表聯(lián)動設(shè)置 88
4.4.8　圖表篩選設(shè)置 89
4.4.9　圖表鉆取設(shè)置 96
4.4.10　圖例設(shè)置 97
4.4.11　排版設(shè)置 97
4.5　圖表數(shù)據(jù)導出 98
4.5.1　導出到Excel 98
4.5.2　導出到圖片 99
4.6　GIS地圖創(chuàng)建方法 99
4.6.1　選擇圖表類型 99
4.6.2　設(shè)置字段及坐標 100
4.6.3　設(shè)置圖層及工作表類型 100
4.6.4　拖曳字段 101
4.6.5　顏色與尺寸設(shè)置 101
4.6.6　可視化效果類型設(shè)置 101
4.7　圖表配置相關(guān)概念 102
4.7.1　維度、對比和數(shù)值的概念 102
4.7.2　鉆取、聯(lián)動和篩選的區(qū)別與聯(lián)系 103
4.7.3　同比和環(huán)比的區(qū)別與聯(lián)系 104
4.7.4　高級計算介紹 105
第5章　自主建模應(yīng)用 109
5.1　通用算子基本概念 109
5.2　算子的主要特征及應(yīng)用規(guī)則 109
5.3　模型創(chuàng)建 109
5.3.1　添加模型 109
5.3.2　選擇數(shù)據(jù) 110
5.3.3　模型設(shè)計 110
5.3.4　結(jié)果輸出 112
5.4　模型管理 112
5.4.1　模型搜索 112
5.4.2　模型運行 113
5.4.3　模型編輯 113
5.4.4　字段設(shè)置 114
5.4.5　數(shù)據(jù)預(yù)覽 115
5.4.6　模型保存 115
5.4.7　模型刪除 116
5.4.8　模型更新 117
5.5　單表級數(shù)據(jù)處理通用算子 119
5.5.1　通用算子-數(shù)據(jù)聚合 119
5.5.2　通用算子-數(shù)據(jù)去重 121
5.5.3　通用算子-添加字段 128
5.5.4　通用算子-輸出工作表 130
5.5.5　通用算子- SQL創(chuàng)建 131
5.5.6　通用算子-表結(jié)構(gòu)處理 133
5.5.7　通用算子- JSON解析算子 135
5.5.8　通用算子-算數(shù)運算算子 136
5.5.9　通用算子-日期處理算子 138
5.5.10　通用算子-字符串處理算子 147
5.5.11　通用算子-空值率算子 157
5.6　多表級數(shù)據(jù)處理通用算子 158
5.6.1　通用算子-左連接 158
5.6.2　通用算子-交集 160
5.6.3　通用算子-差集 162
5.6.4　通用算子-全關(guān)聯(lián) 163
5.6.5　通用算子-全部合并 165
5.7　自定義算子 167
5.7.1　自定義算子基本定義 168
5.7.2　自定義算子使用場景 169
5.7.3　自定義算子創(chuàng)建方法及步驟 169
5.7.4　自定義算子配置 171
5.7.5　自定義算子管理級授權(quán)使用 184
第6章　SQL函數(shù)在建模中的應(yīng)用 188
6.1　SQL使用場景及技巧 188
6.2　SQL查詢基本語法 189
6.2.1　FROM子句 189
6.2.2　DISTINCT謂詞 189
6.2.3　用AS子句為字段取別名 189
6.2.4　WHERE子句指定查詢條件 190
6.3　數(shù)學運算函數(shù) 193
6.3.1　+函數(shù)應(yīng)用演示 193
6.3.2　-函數(shù)應(yīng)用演示 194
6.3.3　*函數(shù)應(yīng)用演示 194
6.3.4　/函數(shù)應(yīng)用演示 195
6.3.5　%函數(shù)應(yīng)用演示 196
6.4　日期函數(shù) 197
6.4.1　DAY函數(shù)應(yīng)用演示 197
6.4.2　MONTH函數(shù)應(yīng)用演示 198
6.4.3　YEAR函數(shù)應(yīng)用演示 199
6.4.4　TO_DATE函數(shù)應(yīng)用演示 200
6.4.5　HOUR函數(shù)應(yīng)用演示 201
6.4.6　MINUTE函數(shù)應(yīng)用演示 202
6.4.7　SECOND函數(shù)應(yīng)用演示 203
6.4.8　DATE_SUB函數(shù)應(yīng)用演示 204
6.4.9　DATE_ADD函數(shù)應(yīng)用演示 205
6.4.10　HOUR_DIFF函數(shù)應(yīng)用演示 206
6.4.11　DAY_DIFF函數(shù)應(yīng)用演示 207
6.4.12　YEAR_DIFF函數(shù)應(yīng)用演示 208
6.4.13　FROM_UNIXTIME、UNIX_TIMESTAMP、SUBSTR混合函數(shù)應(yīng)用演示 209
6.5　條件函數(shù) 210
6.5.1　IF、AND、OR、HOUR_DIFF混合函數(shù)應(yīng)用演示 210
6.5.2　CASE、WHEN、HOUR_DIFF、AND混合函數(shù)應(yīng)用演示 211
6.5.3　CCOALESCE函數(shù)應(yīng)用演示 213
6.6　字符串函數(shù) 213
6.6.1　CONCAT函數(shù)應(yīng)用演示 213
6.6.2　SUBSTR函數(shù)應(yīng)用演示 214
6.6.3　STRING_SPLIT、SPLIT函數(shù)應(yīng)用演示 215
6.6.4　REPLACE函數(shù)應(yīng)用演示 217
6.6.5　REGEXP_REPLACE函數(shù)應(yīng)用演示 217
6.6.6　LENGTH函數(shù)應(yīng)用演示 218
6.6.7　UPPER函數(shù)應(yīng)用演示 219
6.7　數(shù)值計算函數(shù) 220
6.7.1　RAND函數(shù)應(yīng)用演示 220
6.7.2　ROUND函數(shù)應(yīng)用演示 221
6.8　聚合函數(shù) 221
6.9　函數(shù)應(yīng)用注意事項 222
第7章　可視化大屏創(chuàng)建 223
7.1　數(shù)據(jù)大屏和儀表盤的區(qū)別與聯(lián)系 223
7.2　數(shù)據(jù)大屏設(shè)計步驟 225
7.3　數(shù)據(jù)大屏基本功能 228
7.4　數(shù)據(jù)大屏創(chuàng)建步驟 230
7.4.1　新建普通大屏 230
7.4.2　組件樣式設(shè)置 231
7.5　數(shù)據(jù)大屏的數(shù)據(jù)調(diào)用 235
7.5.1　添加數(shù)據(jù)源 235
7.5.2　數(shù)據(jù)源管理 239
7.6　數(shù)據(jù)大屏核心參數(shù)設(shè)置 241
7.6.1　配置數(shù)據(jù) 241
7.6.2　數(shù)據(jù)處理 245
7.6.3　映射字段 247
7.6.4　數(shù)據(jù)更新 247
7.7　數(shù)據(jù)大屏應(yīng)用舉例 248
7.8　創(chuàng)建大屏常見問題 248
第8章　數(shù)據(jù)分析報告制作 251
8.1　明確報告類型 251
8.2　合理選擇報告結(jié)構(gòu) 252
8.3　報告制作注意事項 255