IBM數(shù)據(jù)倉庫及IBM商務(wù)智能工具

第1部分  商務(wù)智能和數(shù)據(jù)倉庫的基礎(chǔ)知識
第1章  BI組織概述  3
1.1  BI組織架構(gòu)概述  4
1.2  提供信息內(nèi)容  8
1.2.1  信息內(nèi)容的計劃  9
1.2.2  信息內(nèi)容的設(shè)計  12
1.2.3  信息內(nèi)容的實現(xiàn)  13
1.3  證明BI工作的價值  16
1.3.1  項目與已知的商務(wù)需求相結(jié)合  16
1.3.2  衡量ROI  16
1.3.3  讓數(shù)據(jù)倉庫首次迭代最大限度地發(fā)揮作用  19
1.4  IBM和BI組織  20
1.4.1  無縫集成  21
1.4.2  簡化數(shù)據(jù)傳遞系統(tǒng)  23
1.4.3  零滯后  25
1.5  小結(jié)  25
第2章  商務(wù)智能基礎(chǔ)  27
2.1  BI組成及技術(shù)  28
2.1.1  BI組成  28
2.2  數(shù)據(jù)倉庫的組成  32
2.2.1  數(shù)據(jù)抽取、轉(zhuǎn)換和裝載  34
2.2.2  數(shù)據(jù)管理  37
2.2.3  數(shù)據(jù)訪問  37
2.2.4  元數(shù)據(jù)  38
2.3  分析化的用戶要求  39
2.3.1  報告和查詢  40
2.3.2  在線分析處理  40
2.3.3  數(shù)據(jù)統(tǒng)計  43
2.3.4  數(shù)據(jù)挖掘  43
2.4  維度技術(shù)和BI  44
2.4.1  OLAP服務(wù)器  45
2.4.2  定義空間譜  47
2.5  觸點  48
2.6  零滯后和數(shù)據(jù)倉庫環(huán)境  49
2.7  閉環(huán)學(xué)習(xí)  49
2.8  歷史完整性  50
2.9  小結(jié)  53
第3章  設(shè)計數(shù)據(jù)倉庫的迭代過程  54
3.1  設(shè)計任何的迭代  55
3.1.1  建立你自己的BI計劃  57
3.2  計劃初期迭代  63
3.2.1  設(shè)定數(shù)據(jù)倉庫以符合公司戰(zhàn)略  64
3.2.2  實施一個準(zhǔn)備就緒的評估  65
3.2.3  源計劃  66
3.3  用DIF矩陣選擇方案  69
3.3.1  確定正確的方法  70
3.3.2  應(yīng)用DIF矩陣  70
3.3.3  功能紊亂  74
3.3.4  影響力  75
3.3.5  可行性  75
3.3.6  DIF矩陣的結(jié)果  75
3.4  計劃隨后的迭代  78
3.4.1  確定范圍  78
3.4.2  確定戰(zhàn)略性的商務(wù)詢問  79
3.5  完成項目的方法  80
3.5.1  BI駭客方法  80
3.5.2  Inmon方法  81
3.5.3  商務(wù)空間的生命周期方法  81
3.5.4  螺旋形方法  82
3.5.5  IBM方法  90
3.5.6  選擇合適的方法  93
3.6  小結(jié)  93
第2部分  商務(wù)智能架構(gòu)
第4章  設(shè)計數(shù)據(jù)架構(gòu)  97
4.1  選擇正確的架構(gòu)  99
4.1.1  原子層選擇  101
4.1.2  數(shù)據(jù)集市  106
4.1.3  有依賴性的數(shù)據(jù)集市的原子層  107
4.1.4  獨立的數(shù)據(jù)集市  109
4.1.5  數(shù)據(jù)傳輸架構(gòu)  110
4.2  預(yù)測傳送量  114
4.3  架構(gòu)建模  116
4.3.1  商務(wù)邏輯模型  117
4.3.2  原子層模型  118
4.3.3  數(shù)據(jù)集市的建模  120
4.3.4  原子和星型數(shù)據(jù)的比較  124
4.4  可操作的數(shù)據(jù)的存儲  125
4.5  數(shù)據(jù)架構(gòu)策略  126
4.6  小結(jié)  129
第5章  技術(shù)架構(gòu)和數(shù)據(jù)管理基礎(chǔ)  131
5.1  決定架構(gòu)的技術(shù)依據(jù)  133
5.1.1  集中的數(shù)據(jù)倉庫  133
5.1.2  分布式的數(shù)據(jù)倉庫  137
5.1.3  并行和倉庫  139
5.1.4  分區(qū)數(shù)據(jù)存儲  142
5.2  數(shù)據(jù)管理的技術(shù)基礎(chǔ)  143
5.2.1  DB2和原子層  143
5.2.2  DB2和星型模式  148
5.3  DB2技術(shù)架構(gòu)的本質(zhì)  150
5.3.1  SMP、MPP和簇  150
5.3.2  共享資源與無共享  152
5.3.3  靜態(tài)和動態(tài)并行  154
5.3.4  目錄分區(qū)  155
5.3.5  高可用性  155
5.4  尺寸需求  162
5.5  小結(jié)  164
 
第3部分  數(shù)據(jù)管理
第6章  DB2 BI基礎(chǔ)  167
6.1  高可用性  168
6.1.1  MDC  168
6.1.2  在線裝載  169
6.1.3  從游標(biāo)處裝載  170
6.1.4  減少批處理窗口  171
6.1.5  減少表重組  172
6.1.6  在線裝載和物化查詢表（MQT）的維護  172
6.1.7  MQT緩存表  173
6.1.8  在線表重組  173
6.1.9  動態(tài)緩沖池管理  175
6.1.10  動態(tài)數(shù)據(jù)庫配置  176
6.1.11  數(shù)據(jù)庫管理的存儲空間  176
6.1.12  日志  177
6.2  管理  178
6.2.1  eLiza和SMART  178
6.2.2  自動健康狀態(tài)的管理框架  179
6.2.3  AUTOCONFIGURE  179
6.2.4  管理通知日志  180
6.2.5  維護模式  180
6.2.6  事件監(jiān)控程序  181
6.3  SQL及其他編程特性  181
6.3.1  INSTEAD OF觸發(fā)器  181
6.3.2  經(jīng)由UNION All 的DML操作  182
6.3.3  信息約束  183
6.3.4  用戶維護的MQT  183
6.4  性能  184
6.4.1  連接集中器  184
6.4.2  壓縮  185
6.4.3  Type-2索引  186
6.4.4  MDC性能改進  186
6.4.5  緩沖池的分塊  187
 
6.5  可擴展性  187
6.5.1  空間擴展  188
6.5.2  文本擴展和文本信息擴展  188
6.5.3  圖形擴展  189
6.5.4  XML擴展  189
6.5.5  視頻擴展和音頻擴展  190
6.5.6  網(wǎng)絡(luò)查詢擴展  190
6.5.7  MQ序列  190
6.5.8  DB2評分  191
6.6  小結(jié)  192
第7章  DB2物化查詢表  193
7.1  初始化MQT  198
7.1.1  建立  198
7.1.2  泛化  198
7.1.3  調(diào)整  200
7.1.4  MQT DROP  200
7.2  MQT刷新策略  200
7.2.1  延時刷新  200
7.2.2  立即刷新  204
7.3  裝載底層表格  206
7.3.1  新狀態(tài)  207
7.3.2  新的LOAD選項  207
7.4  使用DB2 ALTER  210
7.5  物化視圖匹配  211
7.5.1  狀態(tài)考慮  212
7.5.2  匹配標(biāo)準(zhǔn)  212
7.6  MQT設(shè)計  222
7.7  MQT 調(diào)整  223
7.7.1  刷新優(yōu)化  224
7.8  物化視圖的限制  225
7.9  小結(jié)  228
 
第4部分  數(shù)據(jù)倉庫管理
第8 章  利用IBM DB2 Data Warehouse Center管理數(shù)據(jù)倉庫  231
8.1  IBM DB2 Data Warehouse Center的關(guān)鍵特征  232
8.1.1  倉庫主題區(qū)  232
8.1.2  倉庫源  232
8.1.3  倉庫目標(biāo)  232
8.1.4  倉庫服務(wù)器和日志  233
8.1.5  倉庫代理程序和代理點  233
8.1.6  倉庫控制數(shù)據(jù)庫  234
8.1.7  倉庫過程和步驟  234
8.2  IBM DB2 Data Warehouse Center向?qū)В╨aunchpad）  237
8.2.1  設(shè)置數(shù)據(jù)倉庫環(huán)境  238
8.2.2  使用向?qū)?chuàng)建一個數(shù)據(jù)倉庫  240
8.2.3  在目標(biāo)表中定義關(guān)鍵字  250
8.2.4  維護數(shù)據(jù)倉庫  250
8.2.5  倉庫的授權(quán)用戶  251
8.2.6  為用戶編寫倉庫對象目錄  251
8.3  過程和步驟的任務(wù)流控制  252
8.3.1  計劃  253
8.3.2  通知數(shù)據(jù)管理員  255
8.3.3  計劃一個過程  256
8.3.4  在IBM DB2 Data Warehouse Center之外觸發(fā)步驟  260
8.4  IBM DB2 Data Warehouse Center監(jiān)視戰(zhàn)略  262
8.4.1  IBM DB2 Data Warehouse Center監(jiān)視工具  262
8.4.2  DB2監(jiān)視工具  271
8.4.3  Replication Center監(jiān)視  272
8.5  倉庫調(diào)整  274
8.5.1  更新統(tǒng)計數(shù)據(jù)  274
8.5.2  重組數(shù)據(jù)  275
8.5.3  使用DB2快照和監(jiān)視器  275
8.5.4  使用可視化解釋  276
8.5.5  調(diào)整數(shù)據(jù)庫性能  278
8.6  維護IBM DB2 Data Warehouse Center  278
8.6.1  日志歷史  279
8.6.2  控制數(shù)據(jù)庫  279
8.7  DB2 Data Warehouse Center V8新增內(nèi)容  279
8.8  小結(jié)  282
第9章  在IBM DB2 Data Warehouse Center中進行數(shù)據(jù)變換  283
9.1  IBM DB2 Data Warehouse Center過程模型  286
9.1.1  確定數(shù)據(jù)源和目標(biāo)  286
9.1.2  確定變換  288
9.1.3  過程模型  290
9.2  IBM DB2 Data Warehouse Center 變換  292
9.2.1  刷新問題  294
9.2.2  數(shù)據(jù)量  295
9.2.3  管理數(shù)據(jù)版本  296
9.2.4  用戶定義的變換要求  296
9.2.5  多個表的裝載  296
9.2.6  保證數(shù)據(jù)倉庫中的數(shù)據(jù)是最新的  297
9.2.7  重試  301
9.3  SQL變換步驟  301
9.3.1  SQL選擇（Select）和插入（Insert）  303
9.3.2  SQL選擇（Select）和更新（Update）  304
9.4  DB2實用程序  305
9.4.1  導(dǎo)出實用程序的步驟  305
9.4.2  裝載實用程序的步驟  306
9.5  數(shù)據(jù)倉庫變換程序  308
9.5.1  清洗變換程序  308
9.5.2  產(chǎn)生關(guān)鍵字表格  310
9.5.3  建立周期表  312
9.5.4  倒轉(zhuǎn)數(shù)據(jù)變換  314
9.5.5  轉(zhuǎn)動數(shù)據(jù)  316
9.5.6  日期格式改變  319
9.5.7  統(tǒng)計變換程序  320
9.6  數(shù)據(jù)復(fù)制  336
9.6.1  建立復(fù)制步驟  338
9.6.2  在IBM DB2 Data Warehouse Center中定義復(fù)制步驟  341
9.7  MQSeries集成  347
9.7.1  對固定長度或定界格式的MQSeries信息的存取  348
9.7.2  使用DB2 MQSeries視圖  350
9.7.3  存取XML MQSeries信息  351
9.8  用戶自定義的程序步驟  353
9.9  賣方集成  355
9.9.1  ETI·EXTRACT集成  356
9.9.2  Trillium集成  364
9.9.3  Ascential INTEGRITY  366
9.10  Microsoft OLE DB以及Data Transformation Services  367
9.10.1  存取OLE DB  368
9.10.2  存取DTS包  369
9.11  小結(jié)  369
第10章  元數(shù)據(jù)和IBM DB2倉庫管理器  371
10.1  什么是元數(shù)據(jù)  371
10.2  元數(shù)據(jù)分類  374
10.2.1  按用戶類型分類  374
10.2.2  按來源的正式程度分類  375
10.2.3  按所使用環(huán)境分類  376
10.3  什么是元數(shù)據(jù)知識庫  376
10.4  供給元數(shù)據(jù)知識庫  377
10.5  元數(shù)據(jù)和元數(shù)據(jù)知識庫的優(yōu)勢  378
10.6  健康元數(shù)據(jù)知識庫的特征  379
10.7  維護知識庫  380
10.8  實施元數(shù)據(jù)知識庫的難點  381
10.9  IBM元數(shù)據(jù)技術(shù)  382
10.9.1  信息目錄  382
10.9.2  IBM DB2 Data Warehouse Center  382
10.10  由DWC獲取元數(shù)據(jù)  384
10.10.1  從ETI·EXTRACT中收集元數(shù)據(jù)  385
10.10.2  從INTEGRITY中收集元數(shù)據(jù)  390
10.10.3  從DataStage中收集元數(shù)據(jù)  393
10.10.4  從ERwin中收集元數(shù)據(jù)  395
10.10.5  從Axio中收集元數(shù)據(jù)  397
10.10.6  從IBM OLAP集成服務(wù)器中收集元數(shù)據(jù)  398
10.11  在IBM DB2 Data Warehouse Center實例之間交換元數(shù)據(jù)  401
10.11.1  維護測試和產(chǎn)品系統(tǒng)  401
10.11.2  元數(shù)據(jù)交換格式  402
10.12  DWC元數(shù)據(jù)到其他工具的傳送  405
10.12.1  到IBM 信息目錄的DWC元數(shù)據(jù)傳送  406
10.12.2  到OLAP集成服務(wù)器的DWC元數(shù)據(jù)傳送  408
10.12.3  到IBM DB2 OLAP Server的DWC元數(shù)據(jù)傳送  410
10.12.4  到Ascential INTEGRITY的DWC元數(shù)據(jù)傳送  410
10.13  把元數(shù)據(jù)從信息目錄中傳入或傳出  411
10.13.1  由信息目錄獲取元數(shù)據(jù)  412
10.13.2  信息目錄元數(shù)據(jù)傳送  421
10.13.3  向其他信息目錄傳送元數(shù)據(jù)  421
10.13.4  啟動Brio訪問信息目錄元數(shù)據(jù)  422
10.13.5  把信息目錄元數(shù)據(jù)傳送到商業(yè)對象  423
10.13.6  把信息目錄元數(shù)據(jù)傳送到Cognos  423
10.14  小結(jié)  424
第5部分  OLAP和IBM
第11章  多維數(shù)據(jù)和DB2 OLAP Server  427
11.1  理解OLAP的分析周期  432
11.2  產(chǎn)生有效的度量  433
11.3  OLAP 技能  435
11.4  應(yīng)用多維模型  437
11.4.1  用OLAP指導(dǎo)你的組織  437
11.4.2  思維速度分析  438
11.5  商務(wù)輪廓  438
11.6  OLAP陣列  442
11.6.1  關(guān)系型模式的局限  443
11.6.2  衍生的測量  444
11.7  實現(xiàn)企業(yè)的OLAP架構(gòu)  445
11.8  原型化（prototyping）數(shù)據(jù)倉庫  447
11.8.1  數(shù)據(jù)庫設(shè)計：建立輪廓  448
11.8.2  支持需求  455
11.9  DB2 OLAP 矩陣數(shù)據(jù)庫  455
11.9.1  關(guān)于塊的建立  457
11.9.2  矩陣的膨脹  458
11.10  DB2 OLAP Server大小需求  458
11.10.1  DB2 OLAP Server存儲什么  459
11.10.2  使用SET MSG ONLY: 版本8之前的估計  460
11.10.3  什么是典型數(shù)據(jù)  460
11.10.4  DB2 OLAP Server V8.0的大小估計  461
11.11  數(shù)據(jù)庫調(diào)整  462
11.11.1  數(shù)據(jù)庫調(diào)整的目標(biāo)  463
11.11.2  輪廓調(diào)整的要素  463
11.11.3  批量計算和數(shù)據(jù)存儲  464
11.11.4  成員標(biāo)簽和動態(tài)計算  464
11.11.5  磁盤子系統(tǒng)的應(yīng)用和數(shù)據(jù)庫文件的配置  466
11.11.6  數(shù)據(jù)庫分區(qū)  466
11.11.7  屬性維  467
11.12  估計硬件的需求  468
11.12.1  CPU 估計  470
11.12.2  磁盤估計  471
11.12.3  OLAP輔助存儲需求  471
11.13  OLAP 備份和災(zāi)難恢復(fù)  472
11.14  小結(jié)  473
第12章  OLAP和IBM DB2 Data Warehouse Center  474
12.1  IBM DB2 Data Warehouse Center的步驟類型  475
12.2  將OLAP加入過程  476
12.2.1  OLAP Server的主頁  478
12.2.2  OLAP Server列映射頁  478
12.2.3  OLAP Server程序過程選項  478
12.2.4  其他考慮  479
12.3  OLAP Server 裝載規(guī)則  479
12.3.1  自由文本數(shù)據(jù)裝載  480
12.3.2  使用裝載規(guī)則的文件裝載  481
12.3.3  不使用裝載規(guī)則的文件裝載  482
12.3.4  使用裝載規(guī)則的SQL表  483
12.4  OLAP Server計算  484
12.4.1  默認計算  484
12.4.2  使用計算規(guī)則的計算  485
12.5  更新OLAP Server輪廓  486
12.5.1  使用文件  486
12.5.2  使用SQL表  488
12.6  小結(jié)  489
第13章  DB2 OLAP函數(shù)  490
13.1  OLAP函數(shù)  491
13.1.1  具體函數(shù)  493
13.2  GROUPING功能：ROLLUP和CUBE  496
13.2.1  ROLLUP  497
13.2.2  CUBE  498
13.3  評級、定位和聚集  499
13.3.1  RANK舉例  500
13.3.2  ROW_NUMBER，RANK和DENSE_RANK 舉例  501
13.3.3  RANK和PARTITION 及舉例  502
13.3.4  OVER 語句舉例  503
13.3.5  ROWS和ORDER BY及舉例  505
13.3.6  ROWS, RANGE及ORDER BY 舉例  506
13.4  GROUPING，GROUP BY，ROLLUP和CUBE  508
13.4.1  GROUPING, GROUP BY和CUBE例子  508
13.4.2  ROLLUP 舉例  509
13.4.3  CUBE舉例  513
13.5  OLAP函數(shù)應(yīng)用  516
13.5.1  提供按地區(qū)和城市的年度銷售額  517
13.5.2  為一個活動確定目標(biāo)群組  518
13.6  小結(jié)  522
第6部分  高級分析
第14章  帶智能挖掘器的數(shù)據(jù)挖掘  527
14.1  數(shù)據(jù)挖掘和BI組織  528
14.1.1  有效的數(shù)據(jù)挖掘  532
14.2  挖掘過程  533
14.2.1  步驟1：對一個商務(wù)問題進行精確的定義  535
14.2.2  步驟2：商務(wù)問題到數(shù)據(jù)模型和數(shù)據(jù)需求的映射  537
14.2.3  步驟3：源和預(yù)處理數(shù)據(jù)  538
14.2.4  步驟4：考察和評估數(shù)據(jù)  539
14.2.5  步驟5：選擇數(shù)據(jù)挖掘技術(shù)  540
14.2.6  步驟6：分析結(jié)果  541
14.2.7  步驟7：運用結(jié)果  542
14.3  集成數(shù)據(jù)挖掘  543
14.4  實施數(shù)據(jù)挖掘工程的技術(shù)  544
14.5  數(shù)據(jù)挖掘的好處  545
14.5.1  數(shù)據(jù)質(zhì)量  545
14.5.2  相關(guān)維度  546
14.5.3  在OLAP中使用挖掘結(jié)果  547
14.6  挖掘DB2 OLAP Server的好處  548
14.7  小結(jié)  549
第15章   DB2——增強的BI特征和函數(shù)  550
15.1  DB2分析函數(shù)  551
15.1.1  AVG  551
15.1.2  CORRELATION  552
15.1.3  COUNT  552
15.1.4  COUNT_BIG  552
15.1.5  COVARIANCE  553
15.1.6  MAX  553
15.1.7  MIN  554
15.1.8  RAND  554
15.1.9  STDDEV  555
15.1.10  SUM  555
15.1.11  VARIANCE  555
15.1.12  回歸函數(shù)  556
15.1.13  COVAR, CORR, VAR, STDDEV及回歸舉例  559
15.2  以BI為中心的函數(shù)舉例  565
15.2.1  使用樣本數(shù)據(jù)  565
15.2.2  列舉出地區(qū)今年領(lǐng)先的五個銷售人員  568
15.2.3  確定產(chǎn)品購買之間的關(guān)系  569
15.3  小結(jié)  571
第16章  向數(shù)據(jù)倉庫中添加空間數(shù)據(jù)  572
16.1  空間分析和BI組織  573
16.2  空間的影響  576
16.3  什么是空間數(shù)據(jù)  578
16.3.1  洋蔥類比  579
16.3.2  空間數(shù)據(jù)結(jié)構(gòu)  579
16.3.3  空間數(shù)據(jù)與其他圖形數(shù)據(jù)的比較  581
16.4  獲取空間數(shù)據(jù)  582
16.4.1  建立自己的空間數(shù)據(jù)  582
16.4.2  引進空間數(shù)據(jù)  583
16.5  DSS中的空間數(shù)據(jù)  585
16.6  空間分析和數(shù)據(jù)挖掘  586
16.7  空間分析的提供  588
16.7.1  針對數(shù)據(jù)倉庫的典型商務(wù)問題  590
16.8  理解一個具有空間性能的數(shù)據(jù)倉庫  594
16.8.1  地址編碼  595
16.8.2  空間數(shù)據(jù)倉庫的技術(shù)需求  596
16.8.3  將空間數(shù)據(jù)加入數(shù)據(jù)倉庫  598
16.9  小結(jié)  599