大数据计算架构Hadoop、Spark和Storm 三个技术比较

短短几年时间，大数据这个词便已家喻户晓。但在大数据这个名词被命名之前，人类对数据的搜集与分析已有着悠久的历史。从人工统计分析到电脑/大型机再到今天的分布式计算平台，数据处理速度飞速提高的背后则是整体架构的不断演进。今天大数据架构较火热的莫过于Hadoop，Spark和Storm这三种，而Spark和Storm这两个后起之秀更是抢了不少Hadoop的风头，也让网上逐渐开始有一种声音说Hadoop的日子已经快到头了。但究竟这三者之间是什么关系，未来大数据架构究竟该走向何方呢?科多大数据带你一起来看看。

分布式计算架构鼻祖Hadoop

       所谓分布式计算过程就像蚂蚁搬家一样，将一个大型任务分割成很多部分，每一台电脑相当于一个小蚂蚁将其中一部分搬走。Hadoop作为分布式系统的基础架构，其重要性不言而喻。Hadoop的数据处理工作在硬盘层面，借助HDFS(分布式文件系统)，可以将架构下每一台电脑中的硬盘资源聚集起来，不论是存储计算还是调用都可以视为一块硬盘使用，就像以前电脑中的C盘，D盘，之后使用集群管理和调度软件YARN，相当于Windows，毕竟我们要进行编程首先需要一个操作系统，较后利用Map/Reduce计算框架相当于Virtual Studio，就可以在这上面进行计算编程。从而大幅降低了整体计算平台的硬件投入成本。而这也就是较基础的分布式计算架构。

流数据处理双雄Spark和Storm

       所谓流数据处理其实不难理解，比如看网上视频，都是下载一段看一段，然后快结束的时候自动下载下一段。由于Hadoop的计算过程放在硬盘，受制于硬件条件限制，数据的吞吐和处理速度明显不如使用内存来的快。于是Spark和Storm开始登上舞台。Spark和Storm两者较大的区别在于实时性：Spark是准实时，先收集一段时间的数据再进行统一处理，好比看网页统计票数每隔几秒刷新一次，而Storm则是完全实时，来一条数据就处理一条。当然Storm实时处理方式所带来的缺点也是很明显的，不论离线批处理，高延迟批处理还是交互式查询都不如Spark框架。不同的机制决定了两者架构适用的场景不同，比如炒股，股价的变化不是按秒计算的(Spark实时计算延迟度是秒级)，在高频交易中，高频获利与否往往就在1ms(0.001秒)之间，而这恰好就是Storm的实时计算延迟度。

培训大数据，就到成都科多大数据培训机构，成都较好较专业的大数据培训机构：http://cddashujupx.soxsok.com/

联系人：郑老师

电 话：4000088125

Q   Q：1418020239