DM8數據中心解決方案：達夢數據交換平臺

入 門 篇
第1章 概述 2
1．1 數據交換基本概念 2
1．1．1 數據交換概念模型 2
1．1．2 數據交換技術的發(fā)展 3
1．2 數據交換體系結構 4
1．2．1 數據交換模式 4
1．2．2 數據交換體系組成 6
1．3 達夢數據交換平臺簡介 7
1．3．1 組成及功能 7
1．3．2 技術架構 10
1．3．3 特點 11
第2章 安裝與配置 13
2．1 安裝與卸載 13
2．1．1 Windows操作系統中的安裝 13
2．1．2 Linux操作系統中的安裝 21
2．1．3 升級安裝 23
2．1．4 卸載 24
2．1．5 常見問題與注意事項 25
2．2 系統配置 27
2．2．1 啟動與停止系統服務 27
2．2．2 服務器配置 30
2．2．3 元數據庫配置 31
2．2．4 集群配置 33
2．2．5 數據總線服務配置 34
2．2．6 Web監(jiān)控服務配置 35
2．2．7 查看許可證信息 36
2．2．8 監(jiān)聽服務器日志信息 37
2．2．9 日志參數配置 37
第3章 快速入門 38
3．1 設計器界面 38
3．1．1 設計器啟動 38
3．1．2 界面簡介 40
3．2 基本操作 40
3．2．1 設計 40
3．2．2 運行 43
3．3 入門示例 44
3．3．1 示例說明 44
3．3．2 創(chuàng)建數據源 45
3．3．3 創(chuàng)建工程 50
3．3．4 設計轉換 51
3．3．5 設計作業(yè) 62
3．3．6 查看運行日志 66
基 礎 篇
第4章 數據源管理 68
4．1 關系型數據庫 68
4．1．1 關系型數據庫概述 68
4．1．2 添加表 70
4．1．3 添加視圖 70
4．1．4 添加SQL查詢 71
4．1．5 表 73
4．2 文本文件 79
4．2．1 文本文件描述 79
4．2．2 文本文件選項配置說明 79
4．2．3 文本文件詳細說明 79
4．3 CSV文件 80
4．3．1 CSV文件描述 80
4．3．2 CSV文件選項配置說明 80
4．4 Excel文件 80
4．4．1 Excel文件描述 80
4．4．2 Excel文件選項配置說明 81
4．5 XML文件 81
4．5．1 XML文件描述 81
4．5．2 XML文件選項配置說明 81
4．5．3 XML文件示例描述 82
4．6 數據集文件 83
4．6．1 數據集文件描述 83
4．6．2 數據集文件選項配置說明 83
4．7 DBF文件 84
4．7．1 DBF文件描述 84
4．7．2 DBF文件選項配置說明 84
4．8 JSON文件 84
4．8．1 JSON文件描述 84
4．8．2 JSON文件選項配置說明 84
4．8．3 JSON文件示例描述 85
4．9 HDFS文件 86
4．9．1 HDFS文件描述 86
4．9．2 HDFS文件選項配置說明 86
4．10 AVRO文件 86
4．10．1 AVRO文件描述 86
4．10．2 AVRO文件選項配置說明 87
4．11 JMS文件 87
4．11．1 JMS文件描述 87
4．11．2 JMS文件選項配置說明 87
4．11．3 JMS文件示例描述 87
4．12 WebSphere MQ 89
4．12．1 WebSphere MQ描述 89
4．12．2 WebSphere MQ選項配置說明 89
4．13 Kafka 89
4．13．1 Kafka描述 89
4．13．2 Kafka選項配置說明 89
4．14 WebService 90
4．14．1 WebService描述 90
4．14．2 WebService選項配置說明 90
4．15 LDAP 90
4．15．1 LDAP描述 90
4．15．2 LDAP選項配置說明 90
4．15．3 LDAP示例描述 91
4．15．4 添加LDAP DN數據集 91
4．16 Mail數據源 91
4．16．1 Mail數據源描述 91
4．16．2 Mail數據源選項配置說明 92
4．16．3 Mail數據源示例描述 92
4．16．4 添加Mail數據集 93
4．17 MongoDB數據源 94
4．17．1 MongoDB數據源描述 94
4．17．2 MongoDB數據源選項配置說明 94
4．17．3 MongoDB數據源示例描述 94
4．17．4 添加MongoDB數據集 94
4．18 Elasticsearch數據源 95
4．18．1 Elasticsearch數據源描述 95
4．18．2 Elasticsearch數據源選項配置說明 95
4．18．3 Elasticsearch數據源示例描述 96
4．18．4 添加Elasticsearch類型 96
4．19 Hbase數據源 97
4．19．1 Hbase數據源描述 97
4．19．2 Hbase數據源選項配置說明 97
4．19．3 Hbase數據源示例描述 98
4．19．4 添加Hbase表 98
4．20 導出元數據 99
4．20．1 導出元數據描述 99
4．20．2 導出元數據選項配置說明 99
4．20．3 導出元數據示例描述 99
4．21 導出數據 101
4．21．1 導出數據描述 101
4．21．2 導出數據選項配置說明 101
4．21．3 導出數據示例描述 101
第5章 轉換 103
5．1 轉換概述 103
5．1．1 轉換功能描述 103
5．1．2 轉換選項配置說明 103
5．2 轉換通用配置 104
5．2．1 輸出配置 104
5．2．2 高級屬性配置 109
5．2．3 數據條數 111
5．2．4 文件切分 112
5．2．5 文件處理 113
5．2．6 文件選擇 114
5．2．7 自動分表 116
5．2．8 流程運行統計 117
5．3 數據讀取 118
5．3．1 讀取表/視圖 118
5．3．2 SQL查詢 120
5．3．3 讀取增量表 122
5．3．4 讀取文本文件 124
5．3．5 讀取CSV文件 125
5．3．6 讀取Excel文件 127
5．3．7 讀取XML文件 128
5．3．8 讀取數據集文件 129
5．3．9 讀取JMS數據 131
5．3．10 讀取WebService數據 133
5．3．11 讀取LDAP數據 134
5．3．12 讀取Mail數據 135
5．3．13 讀取隨機數據 136
5．3．14 讀取自定義數據源 138
5．3．15 讀取DBF文件 141
5．3．16 讀取JSON文件 141
5．3．17 讀取MongoDB數據 142
5．3．18 讀取WebSphere MQ數據 143
5．3．19 讀取網絡輸入數據 143
5．4 數據轉換 143
5．4．1 數據清洗轉換 143
5．4．2 聯合 155
5．4．3 數據集查找 157
5．4．4 數據質量檢測 159
5．4．5 SQL腳本 159
5．4．6 設置變量 161
5．4．7 排序 162
5．4．8 刪除重復行 164
5．4．9 行數據抽樣 165
5．4．10 自定義轉換 166
5．4．11 聚合 167
5．4．12 列轉行 168
5．4．13 行轉列 170
5．4．14 系統命令 171
5．4．15 數據脫敏 171
5．4．16 連接 172
5．5 數據裝載 172
5．5．1 表裝載 172
5．5．2 增量表裝載 174
5．5．3 緩慢變化維表裝載 176
5．5．4 文本文件裝載 181
5．5．5 CSV文件裝載 182
5．5．6 Excel文件裝載 183
5．5．7 XML文件裝載 185
5．5．8 數據集文件裝載 186
5．5．9 JMS裝載 187
5．5．10 WebService裝載 188
5．5．11 DBF文件裝載 190
5．5．12 JSON文件裝載 191
5．5．13 MongoDB裝載 192
5．5．14 WebSphere MQ裝載 192
5．5．15 Kafka裝載 192
5．5．16 Elasticsearch裝載 193
5．5．17 網絡輸出 193
5．6 快速裝載 194
5．6．1 DM8快速裝載 194
5．6．2 Greenplum快速裝載 195
5．6．3 Oracle快速裝載 197
5．6．4 MySQL快速裝載 198
5．6．5 Infobright快速裝載 199
5．6．6 Mariadb快速裝載 200
5．6．7 Hive快速裝載 200
5．7 文件同步 201
5．7．1 文件源 201
5．7．2 文件目的 203
5．7．3 文件同步示例 203
第6章 作業(yè) 206
6．1 作業(yè)概述 206
6．1．1 作業(yè)功能描述 206
6．1．2 作業(yè)選項配置說明 206
6．2 作業(yè)通用配置 207
6．2．1 高級屬性 207
6．2．2 循環(huán)執(zhí)行 208
6．3 引用 209
6．3．1 引用轉換 210
6．3．2 引用作業(yè) 210
6．4 腳本 211
6．4．1 Java腳本 212
6．4．2 SQL腳本 213
6．4．3 設置變量 214
6．5 文件操作 216
6．5．1 基本文件操作 216
6．5．2 壓縮 217
6．5．3 解壓縮 218
6．5．4 遠程文件同步 219
6．6 實用工具 221
6．6．1 發(fā)送郵件 221
6．6．2 OS命令 223
6．6．3 DLL調用 224
6．6．4 Ant 225
6．6．5 休眠 227
6．6．6 數據校驗 228
6．7 系統維護 230
6．7．1 清除日志 230
6．7．2 刷新緩存 231
第7章 函數與變量 233
7．1 函數 233
7．1．1 函數定義 233
7．1．2 函數類型與作用域 234
7．2 變量 234
7．2．1 變量定義 234
7．2．2 變量類型與作用域 235
7．2．3 節(jié)點變量 235
7．2．4 局部變量 237
7．3 表達式 237
7．4 使用嵌入式表達式 238
7．5 數據類型 239
第8章 調度與監(jiān)控 241
8．1 調度 241
8．1．1 新建調度 241
8．1．2 設置調度 243
8．1．3 調度引擎 245
8．2 監(jiān)控 246
8．2．1 監(jiān)控后臺流程 246
8．2．2 查詢歷史日志 247
8．2．3 清除歷史日志 249
8．2．4 實時告警 250
8．2．5 歷史告警 251
8．2．6 清除告警 251
第9章 權限與版本管理 252
9．1 權限概述 252
9．1．1 功能權限 252
9．1．2 對象權限 253
9．2 角色 255
9．3 用戶 256
9．3．1 用戶概述 256
9．3．2 啟用/禁用用戶 257
9．3．3 重置密碼 257
9．4 版本管理 258
9．4．1 備份當前版本 258
9．4．2 自動備份 258
9．4．3 手動備份 259
9．4．4 查看歷史版本 259
9．4．5 清除歷史版本 260
9．4．6 還原刪除對象 261
高 級 篇
第10章 增量數據抽取 264
10．1 增量數據抽取原理 264
10．1．1 增量數據抽取方式 264
10．1．2 DMETL增量數據表 267
10．2 增量數據同步設計 269
10．2．1 添加增量數據集 269
10．2．2 配置增量表數據抽取 270
10．2．3 配置增量表數據裝載 271
10．2．4 配置“首次同步時同步基表數據”與“設為首次同步” 271
10．3 增量數據同步和增量方式配置示例 274
10．3．1 觸發(fā)器方式同步示例 274
10．3．2 其他增量方式配置示例 278
第11章 達夢數據交換集群 283
11．1 集群概述 283
11．1．1 體系結構 283
11．1．2 集群特性 284
11．2 集群安裝配置與管理 287
11．2．1 集群安裝 287
11．2．2 集群主從節(jié)點配置 287
11．2．3 集群管理 291
11．3 轉換和作業(yè)集群配置 293
11．3．1 轉換流程消息順序 293
11．3．2 轉換組件集群配置 294
11．3．3 作業(yè)組件集群配置 295
11．3．4 組件對集群的支持 296
第12章 數據質量檢測 297
12．1 數據質量檢測規(guī)則管理 297
12．1．1 數據質量規(guī)則 297
12．1．2 數據質量視圖 298
12．2 數據質量檢測配置 299
12．3 數據質量檢測統計 304
第13章 Web監(jiān)控與數據總線 309
13．1 Web監(jiān)控 309
13．1．1 Web監(jiān)控安裝 309
13．1．2 Web監(jiān)控配置 309
13．1．3 Web監(jiān)控功能 311
13．2 數據總線 319
13．2．1 DMETL數據總線概述 319
13．2．2 基于數據總線的數據交換 320
第14章 自定義轉換和數據源開發(fā) 329
14．1 自定義轉換和數據源開發(fā)概述 329
14．2 開發(fā)環(huán)境搭建 330
14．2．1 開發(fā)環(huán)境要求 330
14．2．2 開發(fā)條件準備 331
14．3 自定義轉換開發(fā) 334
14．3．1 自定義轉換開發(fā)目標 334
14．3．2 自定義轉換開發(fā)步驟 335
14．3．3 自定義轉換應用 343
14．4 自定義數據源開發(fā) 348
14．4．1 自定義數據源開發(fā)目標 348
14．4．2 自定義數據源開發(fā)步驟 348
14．4．3 使用自定義數據源 352
第15章 ETL接口編程 354
15．1 DMETL API概述 354
15．2 接口編程示例 355
15．2．1 數據遷移編程示例 355
15．2．2 數據操作查詢編程示例 359
15．2．3 調度操作編程示例 362
15．2．4 查詢語句修改編程示例 363
附錄A 系統函數 365
A．1 數學函數 365
A．2 字符串函數 369
A．3 日期時間函數 374
A．4 判斷函數 376
A．5 數據轉換函數 376
A．6 其他函數 378
附錄B 系統變量 381
B．1 系統運行變量 381
B．2 其他系統變量 381
附錄C 日期時間格式 382
附錄D 數字格式 385