數(shù)據(jù)流管理系統(tǒng)設計與應用：SAP ESP項目實戰(zhàn)指南

　　一提到SAP這個名字，大家首先想到的是ERP和CRM，想到的是企業(yè)級應用軟件、企業(yè)管理解決方案等。是的，SAP一直基于領先的技術、各行各業(yè)豐富的實踐經(jīng)驗以及優(yōu)質(zhì)的服務，幫助各行業(yè)不同規(guī)模的企業(yè)實現(xiàn)卓越的運營和管理。從企業(yè)后臺到公司決策層、從工廠倉庫到商鋪店面、從桌面設備到移動終端——SAP助力用戶和企業(yè)高效協(xié)作，獲取商業(yè)洞察力，并從競爭中脫穎而出。SAP的軟件和服務能夠幫助客戶實現(xiàn)盈利性的運營，不斷提升應變能力，實現(xiàn)可持續(xù)的增長。 自從1972年成立以來，SAP一直專注于企業(yè)應用和管理，有了自己獨特的最佳實踐和服務理念。但在最近的幾年中，IT技術不斷發(fā)展，也促成企業(yè)應用需要更加開放，更具有多樣性，更加適合當今最新的IT技術，例如大數(shù)據(jù)、云計算和實時分析等。從2007年開始，SAP并購了一系列業(yè)界領先的公司，容納更廣闊的IT技術于企業(yè)應用之中，并加強在IT基礎架構、數(shù)據(jù)分析、企業(yè)移動化等諸多領域。這就好比一棵筆直生長的大樹，它一直在躥個兒，換句話說，原來只做企業(yè)應用，而現(xiàn)在需要枝繁葉茂，需要在數(shù)據(jù)分析、企業(yè)移動化方面大展宏圖。 從2012年開始，SAP把創(chuàng)新分為了五大市場，分別是企業(yè)應用、商務分析、企業(yè)移動化、數(shù)據(jù)管理與技術平臺和云計算。在這五大市場中，企業(yè)應用是SAP一貫堅持的方向，而其他四個方面則是適應當今IT技術的發(fā)展而發(fā)展起來的。例如：自從2010年SAP收購Sybase公司以后，SAP采用Sybase移動化解決方案，使得移動化應用無處不在，我們可以在恰當?shù)臅r間、適當?shù)牡攸c，通過移動應用隨時隨地發(fā)送和接收信息，完成工作上的要求。通過提供移動銷售、移動工作流等系統(tǒng)級移動應用，方便地拓展了企業(yè)ERP和CRM的使用，延伸了企業(yè)應用的范圍，提高了工作效率和水平。再譬如，隨著SuccessFactors和Ariba加入SAP大家庭，以云計算為核心的企業(yè)應用不斷涌現(xiàn)，企業(yè)可以以全新的方式來運營，而不必遵循傳統(tǒng)的管理方式。SAP完全可以通過托管、租賃等不同的方式，把優(yōu)質(zhì)和創(chuàng)新的應用交付給不同規(guī)模的企業(yè)，尤其是成長型企業(yè)，為其部署在云端的解決方案，為廣大成長型企業(yè)用戶帶來適合自己需求的最佳實踐。 2007年SAP融入BusinessObject公司，使得其在商務智能、信息管理、企業(yè)績效以及治理、風險管理與合規(guī)等方面有了自己完整的解決方案。采用SAP商務分析系列解決方案，企業(yè)可獲得更為廣泛的洞察力，可以優(yōu)化決策流程，改善風險管理等，同時讓企業(yè)把對業(yè)務的洞察力轉化為策略，再轉化為運營決策。另外，SAP商務分析解決方案既能支持傳統(tǒng)ERP系統(tǒng)中的數(shù)據(jù)分析，也能支持大數(shù)據(jù)的智慧分析。 在SAP這棵大樹上，有一個數(shù)據(jù)管理方面的重要分支，那就是流式數(shù)據(jù)管理。說到流式數(shù)據(jù)管理，就不得不提CEP（Complex Event Processing）復雜事件處理。在CEP的領域，國外已經(jīng)有了很多研究成果和相當成熟的產(chǎn)品，而在中國才剛剛起步。流式數(shù)據(jù)處理是CEP的一個核心技術，流計算來自一個信念：數(shù)據(jù)的價值隨著時間的流逝而降低，所以事件出現(xiàn)后必須盡快地對它們進行處理。那么什么是復雜事件呢？復雜事件是一種事件，通常多個簡單事件發(fā)生時預示著這種事件的發(fā)生。一個人發(fā)球，一個人接球，另一個人扣球，每個都是彼此孤立的事件，在一起組成了排球比賽這個復雜事件。 在復雜事件處理中，數(shù)據(jù)是不斷變化的，而其“操作”是“靜態(tài)”的。這里說的“操作”是用戶預定義或訂閱的規(guī)則，根據(jù)預定義或訂閱的規(guī)則來發(fā)現(xiàn)可能原本不被注意的模式和趨勢（即復雜事件），從而使用戶有能力建模、確認、預計及迅速響應看似無關的事件所帶來的機遇和威脅。換句話說，復雜事件處理具備了分析高速數(shù)據(jù)流并鑒別重要事件的能力，而這些重要事件通常是按照一定順序或在特定時間窗口內(nèi)發(fā)生在多個數(shù)據(jù)點的組合，雖然對這些事件的鑒別過程是復雜的，但結果卻是無價的。復雜事件處理能夠幫助企業(yè)及時全面地洞察市場變化，降低風險和提高決策效率。 我們需要一個復雜事件處理（CEP）平臺提供專業(yè)開發(fā)應用的功能，它使得企業(yè)能夠以超過每秒100萬條消息的處理速度分析數(shù)據(jù)流，其延遲時間為毫秒級或更少，從而提供一個快速應用開發(fā)和實施的平臺。就如同其他平臺一樣，一個CEP平臺也能夠加快開發(fā)，降低成本，消除對專業(yè)開發(fā)技巧的依賴，可以說，CEP平臺使得我們擺脫既不能自己開發(fā)又無處購買的二難境地。 SAP ESP就是一個CEP的開發(fā)和運行平臺，基于這個平臺能夠創(chuàng)建和運行自己的復雜事件處理應用程序，以便于從實時的流數(shù)據(jù)中獲得連續(xù)的智能分析結果。早在2008年3月，Sybase基于Coral8內(nèi)核發(fā)布了Sybase CEP產(chǎn)品，但Coral8在2008年5月被Aleri公司收購。異軍突起的Aleri在2009年，被Forrester列為CEP領域杰出的領軍企業(yè)，同時，Aleri還是首家獲準作為安全技術評估中心基準的CEP廠商。隨后在2010年2月，Sybase收購了Aleri，成功躋身成為CEP領頭羊并強化實時分析平臺。在2011年9月，也就是SAP收購Sybase之后，SAP發(fā)布了基于“Aleri架構升級+ CCL（Coral8）描述模型”的SAP ESP產(chǎn)品（其過渡產(chǎn)品曾經(jīng)命名為SAP Sybase ESP）。 在實時分析能力上，SAP Sybase ESP解決方案在高速度、高容量的環(huán)境下極具價值。原因就是SAP ESP使用與傳統(tǒng)商務智能系統(tǒng)完全不同的方法來進行數(shù)據(jù)分析。傳統(tǒng)的方法是——捕獲數(shù)據(jù)，將其結構化為一種固定的格式，將數(shù)據(jù)存儲在基于磁盤的數(shù)據(jù)倉庫中，然后定期在這些數(shù)據(jù)之上運行報表，進行數(shù)據(jù)分析。SAP ESP與之不同的是它在數(shù)據(jù)到達時通過規(guī)則檢查數(shù)據(jù)，所有的操作都不落地，因為一旦落地就失去時效性。SAP ESP鑒別重要事件的能力幾乎是實時的，并能從最新的數(shù)據(jù)中抽取出商務智能，形成多種用途。 為了滿足企業(yè)對能支持實時分析、高速交易的應用程序的需求，SAP ESP提供了強大的復雜事件處理解決方案。它能夠從多個數(shù)據(jù)源中吸收新的數(shù)據(jù)，并在數(shù)據(jù)之間創(chuàng)建關系從而能鑒別出代表機會和問題的模式。在事件存儲之前，能實時持續(xù)分析多個事件流。它通過使用大量原始而重要的數(shù)據(jù)流，將跨多個流的事件關聯(lián)起來，從而鑒別出新的關聯(lián)業(yè)務條件，并在幾毫秒（或更短）的時間內(nèi)對這些事件做出響應。正因為具備了訪問流式數(shù)據(jù)、實時數(shù)據(jù)和歷史數(shù)據(jù)的能力，SAP ESP產(chǎn)品能迅速地讓智能決策生效。另外，SAP ESP同樣可用來生成簡潔、信息豐富的數(shù)據(jù)流，并將它們分發(fā)至下游的系統(tǒng)、應用程序和歷史庫中。 總之，希望大家在讀完本書后，能夠?qū)EP領域和SAP ESP解決方案有一個清晰的認識，結合自己的工作和生活，靈活運用這些CEP方法和技術，為企業(yè)的實時分析、實時決策以及業(yè)務運營帶來應用的新理念、新方式。 本書由SAP（北京）軟件系統(tǒng)有限公司羅永強帶領中國移動（深圳）有限公司付峰、SAP（北京）軟件系統(tǒng)有限公司馬澤炯共同編寫完成。中國移動（深圳）有限公司敖錦蓉也參與了編寫工作，在此表示感謝。

　　羅永強SAP資深大數(shù)據(jù)及商業(yè)智能架構師，近二十年的信息化系統(tǒng)建設經(jīng)驗，曾任某國有大型商業(yè)銀行分行級數(shù)據(jù)中心主任，國內(nèi)最早期數(shù)據(jù)倉庫建設者。參與了電信、證券、銀行、政府、零售、制造等多個行業(yè)的數(shù)據(jù)倉庫、數(shù)據(jù)集市、算法交易等系統(tǒng)建設，致力于用管理的視角看待大數(shù)據(jù)及商務智能系統(tǒng)。付峰中國移動（深圳）有限公司技術專家，近十年中國移動業(yè)務支撐網(wǎng)工作經(jīng)驗，主要從事業(yè)務支撐網(wǎng)BOSS和經(jīng)營分析系統(tǒng)方面的測評規(guī)劃、方案設計等工作，多次參與集團在經(jīng)營分析系統(tǒng)方面的規(guī)劃、規(guī)范編寫、方案設計和培訓等工作，擁有扎實的業(yè)務知識和技術知識。馬澤炯羅永強SAP資深大數(shù)據(jù)及商業(yè)智能架構師，近二十年的信息化系統(tǒng)建設經(jīng)驗，曾任某國有大型商業(yè)銀行分行級數(shù)據(jù)中心主任，國內(nèi)最早期數(shù)據(jù)倉庫建設者。參與了電信、證券、銀行、政府、零售、制造等多個行業(yè)的數(shù)據(jù)倉庫、數(shù)據(jù)集市、算法交易等系統(tǒng)建設，致力于用管理的視角看待大數(shù)據(jù)及商務智能系統(tǒng)。付峰中國移動（深圳）有限公司技術專家，近十年中國移動業(yè)務支撐網(wǎng)工作經(jīng)驗，主要從事業(yè)務支撐網(wǎng)BOSS和經(jīng)營分析系統(tǒng)方面的測評規(guī)劃、方案設計等工作，多次參與集團在經(jīng)營分析系統(tǒng)方面的規(guī)劃、規(guī)范編寫、方案設計和培訓等工作，擁有扎實的業(yè)務知識和技術知識。馬澤炯SAP資深系統(tǒng)顧問。近十五年的信息化系統(tǒng)建設經(jīng)驗，專注于金融、電信、政府等行業(yè)的數(shù)據(jù)管理與分析類解決方案，在主機、存儲、操作系統(tǒng)、數(shù)據(jù)庫、商務智能等方面具有豐富的項目和解決方案經(jīng)驗。近年來從事SAP事件流處理器的推廣與應用工作。顯示全部信息