SysML精粹

前言
作者簡介
第1章 分布式單詞計(jì)數(shù)
1.1 Storm topology的組成部分--stream、spout和bolt
1.1.1 stream
1.1.2 spout
1.1.3 bolt
1.2 單詞計(jì)數(shù)topology的數(shù)據(jù)流
1.2.1 語句生成spout
1.2.2 語句分割bolt
1.2.3 單詞計(jì)數(shù)bolt
1.2.4 上報(bào)bolt
1.3 實(shí)現(xiàn)單詞計(jì)數(shù)topology
1.3.1 配置開發(fā)環(huán)境
1.3.2 實(shí)現(xiàn)SentenceSpout
1.3.3 實(shí)現(xiàn)語句分割bolt
1.3.4 實(shí)現(xiàn)單詞計(jì)數(shù)bolt
1.3.5 實(shí)現(xiàn)上報(bào)bolt
1.3.6 實(shí)現(xiàn)單詞計(jì)數(shù)topology
1.4 Storm的并發(fā)機(jī)制
1.4.1 WordCountTopology的并發(fā)機(jī)制
1.4.2 給topology增加worker
1.4.3 配置executor和task
1.5 理解數(shù)據(jù)流分組
1.6 有保障機(jī)制的數(shù)據(jù)處理
1.6.1 spout的可靠性
1.6.2 bolt的可靠性
1.6.3 可靠的單詞計(jì)數(shù)
總結(jié)
第2章 配置Storm集群
2.1 Storm集群的框架
2.1.1 理解nimbus守護(hù)進(jìn)程
2.1.2 supervisor守護(hù)進(jìn)程的工作方式
2.1.3 Apache ZooKeeper簡介
2.1.4 Storm的DRPC服務(wù)工作機(jī)制
2.1.5 Storm UI
2.2 Storm技術(shù)棧簡介
2.2.1 Java和Clojure
2.2.2 Python
2.3 在Linux上安裝Storm
2.3.1 安裝基礎(chǔ)操作系統(tǒng)
2.3.2 安裝Java
2.3.3 安裝ZooKeeper
2.3.4 安裝Storm
2.3.5 運(yùn)行Storm守護(hù)進(jìn)程
2.3.6 配置Storm
2.3.7 必需的配置項(xiàng)
2.3.8 可選配置項(xiàng)
2.3.9 Storm可執(zhí)行程序
2.3.10 在工作站上安裝Storm可執(zhí)行程序
2.3.11 守護(hù)進(jìn)程命令
2.3.12 管理命令
2.3.13 本地調(diào)試/開發(fā)命令
2.4 把toplogy提交到集群中
2.5 自動(dòng)化集群配置
2.6 Puppet的快速入門
2.6.1 Puppet manifest文件
2.6.2 Puppet類和模塊
2.6.3 Puppet模板
2.6.4 使用Puppet Hiera來管理環(huán)境
2.6.5 介紹Hiera
總結(jié)
第3章 Trident和傳感器數(shù)據(jù)
3.1 使用場景
3.2 Trident topology
3.3 Trident spout
3.4 Trident運(yùn)算
3.4.1 Trident filter
3.4.2 Trident function
3.5 Trident聚合器
3.5.1 CombinerAggregator
3.5.2 ReducerAggregator
3.5.3 Aggregator
3.6 Trident狀態(tài)
3.6.1 重復(fù)事務(wù)型狀態(tài)
3.6.2 不透明型狀態(tài)
3.7 執(zhí)行topology
總結(jié)
第4章 實(shí)時(shí)趨勢分析
4.1 應(yīng)用場景
4.2 體系結(jié)構(gòu)
4.2.1 數(shù)據(jù)源應(yīng)用程序
4.2.2 logback Kafka appender
4.2.3 Apache Kafka
4.2.4 Kafka spout
4.2.5 XMPP服務(wù)器
4.3 安裝需要的軟件
4.3.1 安裝Kafka
4.3.2 安裝OpenFire
4.4 示例程序
4.5 日志分析topology
4.5.1 Kafka spout
4.5.2 JSON project function
4.5.3 計(jì)算移動(dòng)平均值
4.5.4 添加一個(gè)滑動(dòng)窗口
4.5.5 實(shí)現(xiàn)滑動(dòng)平均function
4.5.6 按照閾值進(jìn)行過濾
4.5.7 通過XMPP發(fā)送通知
4.6 最終的topology
4.7 運(yùn)行日志分析topology
總結(jié)
第5章 實(shí)時(shí)圖形分析
5.1 使用場景
5.2 體系結(jié)構(gòu)
5.2.1 Twitter客戶端
5.2.2 Kafka spout
5.2.3 Titan分布式圖形數(shù)據(jù)庫
5.3 圖形數(shù)據(jù)庫簡介
5.3.1 訪問圖--TinkerPop棧
5.3.2 使用Blueprints API操作圖形
5.3.3 通過Gremlin shell操作圖形
5.4 軟件安裝
5.5 使用Cassandra存儲(chǔ)后端設(shè)置Titan
5.5.1 安裝Cassandra
5.5.2 使用Cassandra后端啟動(dòng)Titan
5.6 圖數(shù)據(jù)模型
5.7 連接Twitter數(shù)據(jù)流
5.7.1 安裝Twitter4J客戶端
5.7.2 OAuth配置
5.7.3 TwitterStreamConsumer類
5.7.4 TwitterStatusListener類
5.8 Twitter graph topology
5.9 實(shí)現(xiàn)GraphState
5.9.1 GraphFactory
5.9.2 GraphTupleProcessor
5.9.3 GraphStateFactory
5.9.4 GraphState
5.9.5 GraphUpdater
5.10 實(shí)現(xiàn)GraphFactory
5.11 實(shí)現(xiàn)GraphTupleProcessor
5.12 組合成TwitterGraphTopology類
5.13 使用Gremlin查詢圖
總結(jié)
第6章 人工智能
6.1 為應(yīng)用場景進(jìn)行設(shè)計(jì)
6.2 確立體系結(jié)構(gòu)
6.2.1 審視設(shè)計(jì)中的挑戰(zhàn)
6.2.2 實(shí)現(xiàn)遞歸
6.2.3 解決這些挑戰(zhàn)
6.3 實(shí)現(xiàn)體系結(jié)構(gòu)
6.3.1 數(shù)據(jù)模型
6.3.2 檢視Recursive Topology
6.3.3 隊(duì)列交互
6.3.4 function和filter
6.3.5 研究Scoring Topology
6.3.6 分布式遠(yuǎn)程命令調(diào)用（DRPC）
總結(jié)
第7章 整合Druid進(jìn)行金融分析
7.1 使用場景
7.2 集成一個(gè)非事務(wù)系統(tǒng)
7.3 topology
7.3.1 spout
7.3.2 filter
7.3.3 狀態(tài)設(shè)計(jì)
7.4 實(shí)現(xiàn)體系結(jié)構(gòu)
7.4.1 DruidState
7.4.2 實(shí)現(xiàn)StormFirehose對象
7.4.3 在ZooKeeper中實(shí)現(xiàn)分片狀態(tài)
7.5 執(zhí)行實(shí)現(xiàn)的程序
7.6 檢視分析過程
總結(jié)
第8章 自然語言處理
8.1 Motivating Lambda結(jié)構(gòu)
8.2 研究使用場景
8.3 實(shí)現(xiàn)Lambda architecture
8.4 為應(yīng)用場景設(shè)計(jì)topology
8.5 設(shè)計(jì)的實(shí)現(xiàn)
8.5.1 TwitterSpout/TweetEmitter
8.5.2 function
8.6 檢視分析邏輯
8.7 Hadoop
8.7.1 MapReduce概覽
8.7.2 Druid安裝
總結(jié)
第9章 在Hadoop上部署Storm進(jìn)行廣告分析
9.1 應(yīng)用場景
9.2 確定體系結(jié)構(gòu)
9.2.1 HDFS簡介
9.2.2 YARN簡介
9.3 配置基礎(chǔ)設(shè)施
9.3.1 Hadoop基礎(chǔ)設(shè)施
9.3.2 配置HDFS
9.4 部署分析程序
9.4.1 以Pig為基礎(chǔ)執(zhí)行批處理分析
9.4.2 在Storm-YARN基礎(chǔ)上執(zhí)行實(shí)時(shí)分析
9.5 執(zhí)行分析
9.5.1 執(zhí)行批處理分析
9.5.2 執(zhí)行實(shí)時(shí)分析
9.6 部署topology
9.7 執(zhí)行toplogy
總結(jié)
第10章 云環(huán)境下的Storm
10.1 Amazon Elastic Compute Cloud簡介
10.1.1 建立AWS帳號
10.1.2 AWS管理終端
10.1.3 手工啟動(dòng)一個(gè)EC2實(shí)例
10.2 Apache Whirr簡介
10.3 使用Whirr配置Storm集群
10.4 Whirr Storm簡介
10.5 Vagrant簡介
10.5.1 安裝Vagrant
10.5.2 創(chuàng)建第一個(gè)虛擬機(jī)
10.6 生成Storm安裝準(zhǔn)備腳本
10.6.1 ZooKeeper
10.6.2 Storm
10.6.3 Supervisord
總結(jié)