“大数据”的概念是在最早经历信息爆炸的学科--天文学和基因学中提出来的,而今已经渗透到了各行各业和生活中的方方面面。牛津大学教授维克托曾在《大数据时代》一书中指出,通过对海量数据进行分析,能够获得有巨大价值的产品和服务,或深刻的洞见。大数据引起了商业变革,管理变革,以致思维变革。调整信息系统的架构,使之能够适应大数据时代的需要,成为了工程师们的一个重要课题。
试读章节主要有四个篇章,前两部分分别从电信运营商上网日志的处理和金融银行业的需求谈起,首先阐释了已有的方案以及不足。
对于电信上网日志分析系统,面临的主要问题:
1. 日志数据量巨大,只能够短期保存
2. 基于详细通话记录为主的客户行为分析可能缺失了大量的客户行为有效信息,从而得不到有指导意义的分析结果
而随着信息量的增长,金融银行业以往所使用的关系型数据库不能够满足数据存储的需求。在业务数据处理和历史数据备份两个方面遇到了以下问题:
1. 增加机器性能和存储空间,这将加大核心系统的运营维护成本
2. 大量数据离线存储,将导致客户无法快速获取交易信息,银行自身也很难依据此数据指定决策
这两个例子恰好体现了大数据时代对于IT架构的两个基本需求,一是存储,二是计算。两个案例不约而同地采用Hadoop作为解决方案,也恰恰体现了Hadoop的优势所在:能够实现低成本的海量数据存储,支持分布式计算和数据挖掘。对于海量数据存储和计算,谷歌实验室有关于GFS和Map/Reduce的论文分别讨论。而Hadoop项目也正是受了这两篇论文的启发而建立。
试读的的前两个章节侧重于Hadoop的应用,对于Hadoop集群本身并未作太多技术细节的探讨。后两个章节,优酷土豆和淘宝的工程师,则结合自己公司内的实际应用,讨论了相关的技术细节。
第三章节主要讨论集群安全。身份认证、用户权限以及Web界面访问控制都是Hadoop集群所存在的安全问题。
Kerberos(地狱三头看门狗)的引入,一定程度上解决了这些问题。Kerberos主要由两部分构成,Identity Store主要包含身份认证信息,KDC则是密钥分发服务器。为解决单点故障问题,KDC服务本身也被配置成了主从式,并通过脚本实现主从库中认证信息的同步,从而增强了Kerbeors的可靠性。
为保证平台的安全运营,还应强调操作的安全规范和实时监控。
不得不承认淘宝对于分布式技术的贡献,以及其技术团队的执行力。第四章节阐释了TFS的技术细节。下面是GFS与TFS架构的对比
由开源中收益,并回馈开源社区。这是每一个IT公司及工程师所应做的。第四章节介绍了TFS的系统架构、存储机制,扩容和容灾等,这些都与GFS类似,可看作GFS论文的中文通俗版。最后提出了TFS的发展方向,而这也是每一个分布式系统的发展方向--在保证数据可靠性的基础上提高服务效率、降低存储以及运维成本。
本书尚可,可以一读。
相关推荐
云计算:大数据时代的系统工程试读
本书从最切实可行的大数据方案选择方法着手,面向不懂大数据相关概念、不知道如何将大数据项目引入何种领域的IT团队和实际经营团队,以自己的实际经验为基础,创立并介绍了大数据项目构建方法。帮助需要引入大数据...
Spring cloud与docker高并发微服务架构设计实施(试读)
阿里巴巴集团技术丛书,大数据丛书。大型互联网公司大数据分析实践经验!大数据分析人员必修必学的内功。基于本书内容开发的数据分析工具已在阿里巴巴集团内部使用,取得显著效果。
本书致力于为一线架构师,以及软件企业提供务实有效的架构设计方法指导。 本书从架构师经常遇到的困惑出发,总结软件架构设计中经常遇到的问题,提出“方法体系必然是软件业界未来发展的重大趋势”这一观点;之后,...
电商大数据 用数据驱动商和商业案例解析,介绍真实的电商案例供大家学习。
Java语言程序设计(基础篇)(英文版·第10版)试读版
产品圣经《Web信息架构》重磅新版 北极熊迈向移动|硬件|未来
《Java程序设计《Java程序设计大学教程》试读版 大学教程》试读版 《Java程序设计大学教程》试读版
那些以前已经体验过设计模式的读者可能希望跳过本书的第Ⅰ部分,这部分介绍了GoF提出的设计模式以及其他常见设计原则,包括S.O.L.I.D原则和Martin Fowler的企业设计模式。所有的代码示例均采用C#语言编写,但这些...
游戏界华人之光陈星汉隆重作序力荐 其恩师扛鼎力作|享誉全球|入门正宗
以Java语言为载体,通过讨论Java程序设计的一般过程和方法,重点讲述程序设计基础、面向对象程序设计、算法与数据结构、GUI程序设计和Web程序设计的知识,并涉及计算机科学基础、数据和控制、程序设计理论、软件工程...
数字化专项 架构参考模型
【试读】挑战程序设计竞赛图灵程序设计丛书:挑战程序设计竞赛(第2版) 秋叶拓哉、岩田阳一、北川宜稔、 巫泽俊 人民邮电出版社 (2013-07)共47页,前4章
java程序设计大学教程试读+课件.rar
这本书写的挺好的。。 IT项目经理成长手记试读样章.pdf
深挖设计经典,完整再现设计的自然面貌
这是试读版,只有前两章,不过是原版不是扫描版。我会在我的博客记录我的阅读笔记。
《响应式Web设计实践》试读干货,响应式——适应浏览器的不同——Web设计实践