大数据时代的IT架构设计

和云计算一样，大数据也一直是个很热的话题，尤其是在BAT这样的海量数据公司，一定离不开大数据。大数据目前也成为了一个领域，数据挖掘、数据分析和数据管理等等。

说到大数据，hadoop是必然要谈的话题，其优越、稳定的分布式方案，已经被大多数大数据业务的公司采用，有电商、有云商和电信公司。从某种意义上说，hadoop技术已经成为大数据的一种标识。

记得2011-2013在给移动做云平台时，用户的访问日志数据和应用的log数据就是用hadoop采集、分析、处理和管理的，这已经是在2012年项目二期快要发布的时候引入的解决方案，2011年做原型的时候，因为都是内部用户测试在用，日志还紧紧是直接从log文件里去读取；到后来形成集群后，需要采集集群上所有的日志，log采集和读取形成瓶颈，渐渐的变成了项目的鸡肋，所以引入hadoop来采集日志、并且进行分析处理后，进行持久化入库，供业务层去做日志展示和日志分析。

互联网在极速发展，带来网路流量也是空前巨大的，在这种趋势下，hadoop技术应运而生，很好的解决了海量数据的分析和存储问题。全球用户量大的网站，Baidu、taobao、facebook，依靠hadoop技术，很好的处理了大量用户带来的海量数据问题。

 

这本书写的还算可以，写的还算通俗易懂，理论性比较强，不过挺适合我这种初学者来好好读一翻的。