搜索 | 会员  
Apache Spark 是什么?
来源:    作者:  日期:2017-11-3  类别:大数据  主题:Spark  编辑:spirit.wan
您听说过ApacheSpark,但您能把它解释清楚吗?它能解决哪些问题呢?它是怎样解决这些问题的?

您听说过 Apache Spark,但您能把它解释清楚吗?它能解决哪些问题呢?它是怎样解决这些问题的?想知道这些问题的答案,这篇文章将非常适合您


问题
工具只在解决了一些问题时才有用,对吧!那么让我们来讨论一下 Spark 能解决的问题。


我们需要(快速获取)答案
在批处理过程中,长时间等待运行作业的结果是意料中的事,在如今的企业中,需要快速(“近实时”)获取答案。大数据的属性(速度、数据量和种类)使得业务问题越来越难获得答案,但快速获取这些答案非常重要


数据如此之多
数据源数不胜数且仍在增加。从 IoT 设备、实时交易、单击流、应用到社交媒体等,数据源在不断增加。所有数据都需要经过一定的处理,这样分析师才能理解并从中获取业务价值。现在您需要能处理所有这些数据,以便将它们转化为某种能使用的信息。能够以越来越快的速度处理从越来越多来源传入的海量数据,这一点很重


A 与 B(以及 C、D 等等)有何关联?
您拥有所有这些有用的数据,从客户交易、社交媒体交互到地理空间数据等等。现在您需要了解所有这些维度如何相互关联。重要的是能看到对这个数据图的全面分析结果,从而确定哪些数据维至关重要,哪些毫无价值


我们需要知道(何时)将会发生什么
您拥有所有这些宝贵的历史数据。太棒了!现在您需要分析它们,了解发生了什么和发生的原因,以便能预测接下来会发生什么。重要的是能够分析所有这些数据,以便预测将会发生的业务事


Apache Spark 不是什么
我们常常(且很容易)合并解决一组类似问题的两种或更多相关技术,而且在不能互换使用它们时互换使用了它们。为了避免在 Spark 上犯这种错误,让我们讨论一下它不是什么


Hadoop
Hadoop 是一种大数据文件存储和数据处理框架,它使用一种称为 MapReduce 的技术从一个庞大的磁盘集群读取数据,转换数据,并将数据写回磁盘。另一方面,Spark 使用有向非循环图 (DAG) 通过一系列步骤处理内存中的数据,这些步骤之间相互依赖(Gradle 也使用了一种 DAG),而且不会像 Hadoop(通过 Hadoop 分布式文件系统,HDFS)那样处理文件存储本身


MapReduce
人们很容易将 Spark Core 与 MapReduce 混淆,因为它们在大数据领域都很重要。MapReduce 基本来讲是一种单通算法:读入数据,MapReduce 转换它,然后将数据写回到磁盘。如果需要另一次转换,则会重复这些步骤。另一方面,Spark 在内存中执行所有处理工作(如有必要,还会执行多次迭代),并使用 DAG 确定要执行步骤的最佳顺序。


与 Hadoop 相互排斥
Spark 被设计为与 Hadoop 兼容,所以 Hadoop 和 Spark 可以紧密协作。事实上,Spark 下载包含用于使用 HDFS(用于存储管理)和 YARN(用于资源管理和调度)的 Hadoop 客户端库。


解决方案
在一开始的时候,我就介绍了 Spark 能解决的一些问题。现在我将展示 Spark 如何解决这些问题。


我们需要(快速获取)答案
近实时的分析在一段时间内需要高性能。Spark 处理来自内存的数据,所以处理速度很快。Spark 的核心库支持轻松地编写优化的代码来获得最快的结果。最多比 MapReduce 快 100 倍!


数据如此之多
或许使用 Spark 的最大好处是它能处理实时流数据。来自交易场所、社交媒体单击流和 IoT 设备的数据必须在传输到磁盘之前快速转换。使用 Hadoop HDFS 时,需要将数据写入磁盘,然后读回进行 Map/Reduce 转换处理,接着再写回磁盘,然后才能交到分析师手中
Spark Streaming 允许在内存中处理传入的数据,然后写入磁盘供以后扩充(如有必要)和进一步分


A 与 B(以及 C、D 等等)有何关联?
来自多个来源的数据(比如交易数据、社交媒体数据、单击流等)拥有隐藏的关联,梳理这些关联有助于发现数据中的新见解和洞察 - 它们从表面上看似乎处于完全不同的维度,但实际上却紧密关联。但要以有意义的方式实现此目的,需要灵活地转换数据(速度快没有坏处,对吧?),以便找到正确的方向
Spark GraphX 结合了二者的优势:多个算法的灵活性,以及以各种不同方式转换和合并数据的速度


我们需要知道(何时)将会发生什么
在预测未来时,拥有一批历史数据是一笔非常宝贵的资产。但预测分析需要严谨的软件(当然还有硬件)。
Spark 的 MLib 具有很高的性能(惊讶吧?)机器学习 (ML) 库采用了大量经过实践检验的算法(比如分类、回归和聚类)、特制技术(比如转换和降维)和实用工具(比如线性代数和统计学)


结束语
在本文中,我们分析了一些出现在大数据中的问题,Spark 不是什么,以及 Spark 如何解决这些问题。在下一个大数据项目中应用 Spark 吧!


参考资料
在整篇文章中,我提供了一些链接来帮助您进一步了解 Apache Spark,下面还提供了另外一些更高层面概述性文章的链接。尽情畅享吧!
* http://www.datamation.com/data-center/hadoop-vs.-spark-the-new-age-of-big-data.html
* https://mapr.com/blog/5-minute-guide-understanding-significance-apache-spark/
* https://www.qubole.com/blog/apache-spark-use-cases/
* http://www.infoworld.com/article/2611326/big-data/graph-analysis-will-make-big-data-even-bigger.html


德仔网尊重行业规范,每篇文章都注明有明确的作者和来源;德仔网的原创文章,请转载时务必注明文章作者和来源:德仔网;
头条那些事
大家在关注
广告那些事
我们的推荐
也许感兴趣的
干货
了解一下吧