《大数据时代的it架构设计》电子书

互联网|IT adminlele 4年前 (2022-05-09) 704次浏览 已收录 0个评论

本站主要采用城通网盘链接分享,因为其他网盘会和谐链接!非VIP会员的朋友请点击普通下载,弹窗关闭即可。速度可能比较慢,请耐心等待,提高下载速度,送您10元消费红包

《大数据时代的it架构设计》电子书

《大数据时代的it架构设计在线阅读版》电子书内容简介

《大数据时代的IT架构设计》以大数据时代为背景,邀请企业中一线架构师,结合实际工作中的实际案例展开架构相关的讨论。《大数据时代的IT架构设计》作者来源于互联网、教育、

传统行业等领域,分享的案例实用,基本上代表了该领域比较先进的架构。无论读者属于什么行业都可以从本书中找到相关的架构经验,对读者在今后的架构设计工作中都能起到很好的帮助作用。

相关内容部分预览

作者简介

IT架构设计研究组,现任职腾讯公司数据平台部,主要负责腾讯个性化精准推荐平台的系统架构设计;

10年以上软件设计开发经验,在分布式系统设计以及海量数据处理方面有比较丰富的经验积累。

目录 

第1 篇 Hadoop 平台应用架构

Hadoop 技术在电信运营商上网日志处理中的应用架构/方建国…………… 2

Hadoop 平台在金融银行业的应用架构/薛强彦…………….. 9

优酷土豆Hadoop 平台开放之路/傅杰………………….. 16

第2 篇 推荐系统架构

腾讯个性化精准推荐平台架构/洪坤乾…………… 28

社交网络大数据挖掘与社会化推荐引擎的构建/邓雄………….. 42

第3 篇 应用架构实践

微博用户兴趣建模系统架构/张俊林………….. 58

针对移动互联网应用的网络建设和优化/李永斌……… 65

西门子系统架构管理实践/李伟……………… 80

如何构建高性能、稳定的SOA 应用/汪洋………… 91

基于开源技术的网络安全架构实践/李晨光………………106

TOGAF 应用架构设计落地之道/温昱…………………120

分布式系统安全设计解决方案/汪洋…………129

第4 篇 大数据下的存储实践

淘宝海量文件存储实践/张友东…………………..136

内存作为统一存储实践/尹伟铭…………………145

第5 篇 数据库架构实践

数据库优化精髓暨数据架构最佳实践/侯圣文…………..154

Oracle、MySQL 还是NoSQL/简朝阳……………..162

SQL Server 中的高可用性/宋沄剑…………………..169

第6 篇 大数据下的IT 架构变迁

京东商城网站架构演变/王晓钟…………………………180

庶民架构——新浪视频后台架构变迁/郝光普………………..189

相关推荐

本书有点像技术博客的博文合集。从Hadoop 平台应用架构、Hadoop 平台应用架构、 应用架构实践、大数据下的存储实践、数据库架构实践和大数据下的IT 架构变迁六个方面选了2到3篇博文合集而成。从我的角度来说,下面这7篇写得还可以:

1、《腾讯个性化精准推荐平台架构》

2、《微博用户兴趣建模系统架构》

3、《如何构建高性能、稳定的SOA应用》

4、《淘宝海量文件存储实践》

5、《oracle、myslq还是nosql》

6、《京东商城网站架构演变》

7、《新浪视频架构变迁》

大数据平台的整体架构设计介绍

大数据平台的整体架构设计

软件架构设计

大数据平台架构设计沿袭了分层设计的思想,将平台所需提供的服务按照功能划分成不同的模块层次,每一模块层次只与上层或下层的模块层次进行交互(通过层次边界的接口),避免跨层的交互,这种设计的好处是:

各功能模块的内部是高内聚的,而模块与模块之间是松耦合的。这种架构有利于实现平台的高可靠性,高扩展性以及易维护性。比如,当我们需要扩容Hadoop集群时,只需要在基础设施层添加一台新的Hadoop节点服务器即可,而对其他模块层无需做任何的变动,且对用户也是完全透明的。

整个大数据平台按其职能划分为五个模块层次,从下到上依次为:

运行环境层:

运行环境层为基础设施层提供运行时环境,它由2部分构成,即操作系统和运行时环境。

(1)操作系统我们推荐安装REHL5.0以上版本(64位)。此外为了提高磁盘的IO吞吐量,避免安装RAID驱动,而是将分布式文件系统的数据目录分布在不同的磁盘分区上,以此提高磁盘的IO性能。

(2)运行时环境的具体要求如下表:

名称版本说明

JDK1.6或以上版本Hadoop需要Java运行时环境,必须安装JDK。

gcc/g++3.x或以上版本当使用Hadoop Pipes运行MapReduce任务时,需要gcc编译器,可选。

python2.x或以上版本当使用Hadoop Streaming运行MapReduce任务时,需要python运行时,可选。

基础设施层:

基础设施层由2部分组成:Zookeeper集群和Hadoop集群。它为基础平台层提供基础设施服务,比如命名服务、分布式文件系统、MapReduce等。

(1)ZooKeeper集群用于命名映射,做为Hadoop集群的命名服务器,基础平台层的任务调度控制台可以通过命名服务器访问Hadoop集群中的NameNode,同时具备failover的功能。

(2)Hadoop集群是大数据平台的核心,是基础平台层的基础设施。它提供了HDFS、MapReduce、JobTracker和TaskTracker等服务。目前我们采用双主节点模式,以此避免Hadoop集群的单点故障问题。

基础平台层:

基础平台层由3个部分组成:任务调度控制台、HBase和Hive。它为用户网关层提供基础服务调用接口。

(1)任务调度控制台是MapReduce任务的调度中心,分配各种任务执行的顺序和优先级。用户通过调度控制台提交作业任务,并通过用户网关层的Hadoop客户端返回其任务执行的结果。其具体执行步骤如下:

任务调度控制台接收到用户提交的作业后,匹配其调度算法;

请求ZooKeeper返回可用的Hadoop集群的JobTracker节点地址;

提交MapReduce作业任务;

轮询作业任务是否完成;

如果作业完成发送消息并调用回调函数;

继续执行下一个作业任务。

作为一个完善的Hadoop集群实现,任务调度控制台尽量自己开发实现,这样灵活性和控制力会更加的强。

(2)HBase是基于Hadoop的列数据库,为用户提供基于表的数据访问服务。

(3)Hive是在Hadoop上的一个查询服务,用户通过用户网关层的Hive客户端提交类SQL的查询请求,并通过客户端的UI查看返回的查询结果,该接口可提供数据部门准即时的数据查询统计服务。

用户网关层:

用户网关层用于为终端客户提供个性化的调用接口以及用户的身份认证,是用户唯一可见的大数据平台操作入口。终端用户只有通过用户网关层提供的接口才可以与大数据平台进行交互。目前网关层提供了3个个性化调用接口:

(1)Hadoop客户端是用户提交MapReduce作业的入口,并可从其UI界面查看返回的处理结果。

(2)Hive客户端是用户提交HQL查询服务的入口,并可从其UI界面查看查询结果。

(3)Sqoop是关系型数据库与HBase或Hive交互数据的接口。可以将关系型数据库中的数据按照要求导入到HBase或Hive中,以提供用户可通过HQL进行查询。同时HBase或Hive或HDFS也可以将数据导回到关系型数据库中,以便其他的分析系统进行进一步的数据分析。

用户网关层可以根据实际的需求无限的扩展,以满足不同用户的需求。

客户应用层:

客户应用层是各种不同的终端应用程序,可以包括:各种关系型数据库,报表,交易行为分析,对账单,清结算等。

大数据时代的it架构设计pdf在线阅读

《大数据时代的IT架构设计》作者来源于互联网、教育、传统行业等领域,分享的案例实用,基本上代表了该领域比较先进的架构。《大数据时代的IT架构设计》适合具备一定架构基础和架构经验的人阅读。感兴趣的欢迎下载阅读学习

fdgfhgjh.pdf: https://t00y.com/f/560517-575279675-c13e18?p=311929 (访问密码:311929)


中信图书出版社全部书籍617本百度网盘福利
西部数码域名服务器优惠券老薛主机优惠券
请通过以下商城购买正版书籍
图书库 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:《大数据时代的it架构设计》电子书本站电子书版权归原作者及开发商所有,仅限个人测试交流学习之用,请在下载后24小时内删除。若有违反您个人权益,请留言反馈删除相关信息。

喜欢 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址