
掃描右側圖片或微信搜索 “ Java技術分享屋 ” ,回復 “ 驗證碼 ” ,獲取驗證密碼。
本資料僅供讀者預覽及學習交流使用,不能用于商業(yè)用途,請在下載后24小時內刪除。如果喜歡,請購買正版!
一.資料圖片
二.資料簡介
“授人以魚不如授人以漁”,《分布式實時計算框架原理及實踐案例》是作者以如此初心寫成的,主要參考當前主流分布式實時計算框架Storm的任務分發(fā)和Spark Streaming的Mini-Batch設計思想,以及底層實現技術,開源了作者自研的輕量級分布式實時計算框架——Light_drtc,并且重點介紹設計思想和相關實現技術(Kafka/RabbitMQ、Redis/SSDB 、GuavaCache、MongoDB、HBase、ES/SolrCloud、Thrift、Avro、Jetty),后從工程角度向大家介紹完整的個性化推薦系統(tǒng),并實例介紹Light_drtc在用戶畫像實時更新的應用?!斗植际綄崟r計算框架原理及實踐案例》描述淺顯易懂,希望讀者理解分布式實時計算的實現原理,并快速上手解決實際問題。
三.資料目錄
第1 章 分布式實時計算框架介紹.1
1.1 分布式計算Hadoop.1
1.2 分布式實時計算........3
1.2.1 Spark Streaming..3
1.2.2 Storm .......6
1.2.3 其他框架.8
1.3 為什么自研......8
1.4 總結......10
第2 章 light_drtc 簡介及使用說明......... 11
2.1 light_drtc 框架簡介 11
2.2 light_drtc 代碼結構12
2.3 light_drtc 重要配置項.......14
2.4 light_drtc 和Storm 比較...15
2.5 light_drtc 使用說明16
2.5.1 ACN(AN 和CN 整合)作為獨立服務....16
2.5.2 CN、AN 作為獨立服務........20
2.5.3 任務計算JN.....23
2.6 總結......26
第3 章 light_drtc 核心技術實現...27
3.1 light_drtc 技術架構27
3.2 light_drtc 計算框架設計思想....30
3.2.1 CN 設計思想....30
3.2.2 AN 多主模式設計思想..........31
3.2.3 JN 設計思想.....34
3.3 light_drtc 核心技術的實現.........36
3.3.1 實時收集數據CN.......36
3.3.2 任務協調管理AN.......40
3.3.3 任務計算JN.....49
3.4 總結......50
第4 章 消息隊列MQ.51
4.1 消息隊列使用場景.51
4.2 消息隊列原理..........53
4.2.1 MQ 使用流程...53
4.2.2 MQ 基本概念...54
4.2.3 MQ 通信模式...55
4.2.4 目前知名MQ 比較.....56
4.3 MQ 消費狀態(tài)監(jiān)控..61
4.3.1 KafkaOffsetMonitor 介紹.......62
4.3.2 KafkaOffsetMonitor 部署.......62
4.4 RabbitMQ 和Kafka 的基本使用.........64
4.4.1 RabbitMQ 讀寫實例...64
4.4.2 Kafka 讀寫實例68
4.5 總結......71
第5 章 內存數據庫Redis3.0 及SSDB..........72
5.1 Redis 相關介紹........72
5.1.1 Redis3.0 集群架構......73
5.1.2 Redis3.0 集群選舉與容錯......74
5.1.3 SSDB 簡介.......75
5.2 Redis3.0 集群搭建..76
5.2.1 集群所依賴的Ruby 環(huán)境......77
5.2.2 Redis 集群創(chuàng)建77
5.2.3 Redis 集群驗證78
5.2.4 SSDB 簡單部署..........79
5.3 Redis 管理及使用...81
5.3.1 Redis 基本使用81
5.3.2 Redis 管理........83
5.4 Redis 客戶端應用...86
5.4.1 Redis3.0 客戶端..........86
5.4.2 SSDB 客戶端...89
5.5 本地緩存Guava Cache.....90
5.5.1 認識Guava Cache .......90
5.5.2 Guava Cache 使用.......91
5.5.3 Java 客戶端使用.........94
5.6 總結......97
第6 章 NoSQL:MongoDB3.0 和HBase1.0 .........98
6.1 MongoDB3.0 和HBase1.0 新特性......99
6.1.1 MongoDB3.0 新特性..99
6.1.2 HBase1.0 新特性.......102
6.1.3 MongoDB 和HBase 比較....104
6.2 MongoDB3.0 集群和索引........105
6.2.1 MongoDB3.0 集群....105
6.2.2 Mongo 索引介紹.......107
6.3 HBase 底層實現介紹......108
6.3.1 HBase 相關Hadoop 體系....108
6.3.2 HBase 系統(tǒng)架構........ 110
6.4 Mongo 和HBase 客戶端使用. 113
6.4.1 Mongo 客戶端 113
6.4.2 HBase 客戶端. 119
6.5 總結.....124
第7 章 全文檢索:ElasticSearch2.x..125
7.1 認識ElasticSearch 和Solr........125
7.1.1 ElasticSearch 和Solr 基本介紹......125
7.1.2 ES 基本概念...127
7.1.3 ES 和SolrCloud 集群結構...129
7.1.4 ES 使用案例...130
7.2 ES 和Solr 比較分析.......131
7.2.1 ES 和Solr 發(fā)展比較.131
7.2.2 ES 和Solr 綜合比較.132
7.3 ES 集群介紹135
7.3.1 插件安裝........135
7.3.2 中文分詞安裝136
7.3.3 ES2.X 集群節(jié)點類型138
7.3.4 ES 配置事項...142
7.4 ES 客戶端使用......144
7.4.1 ES 客戶端連接..........145
7.4.2 ES 基本操作...146
7.4.3 ES 高級使用...150
7.5 ES 在自研框架中的作用..........154
7.6 總結.....155
第8 章 微服務架構通信——RPC 和Web Service ........156
8.1 微服務架構由來....156
8.1.1 微服務與SOA 比較..157
8.1.2 微服務架構的優(yōu)缺點159
8.1.3 微服務雪崩效應的防范.......161
8.2 RPC 介紹及實踐...163
8.2.1 Thrift/Nifty 介紹........163
8.2.2 Avro 介紹.......168
8.2.3 Dubbo/Dubbox 介紹..180
8.2.4 GRPC/ProtoBuf 介紹185
8.2.5 ZeroC ICE.......191
8.3 Web Service 介紹及實踐..........199
8.3.1 SOAP 和Rest .200
8.3.2 JWS(JDK 自身實現Web Service)........202
8.3.3 Jetty:嵌入式Servlet 容器..204
8.3.4 基于Spring MVC......206
8.3.5 其他Web Service 框架........ 211
8.4 總結.....212
第9 章 綜合實例:新聞推薦中的用戶畫像近實時更新213
9.1 個性化推薦系統(tǒng)組成.....213
9.1.1 用戶行為收集214
9.1.2 行為日志解析216
9.1.3 常用推薦算法221
9.1.4 用戶畫像數據倉庫...245
9.1.5 元數據索引庫247
9.1.6 用戶推薦服務248
9.2 新聞推薦中用戶畫像近實時更新設計......248
9.2.1 新聞推薦中用戶畫像構成...250
9.2.2 新聞推薦中用戶畫像標簽數據字典.........251
9.2.3 新聞推薦用戶畫像實時更新流程..257
9.3 新聞推薦用戶畫像近實時更新技術實現..260
9.3.1 Storm 接入Kafka 實時計算實例...260
9.3.2 Spark Streaming 接入Kafka 實時計算實例........265
9.3.3 Light_drtc 接入Kafka..........270
9.3.4 用戶畫像實時更新核心實現..........270
9.4 總結.....280