基于英特尔® 傲腾? 长期内存100系列的Spark计划实践

　　英特尔® 傲腾? 长期内存是Intel在2019年宣布的一款革命性的产品，英特尔® 傲腾? 长期内存是一种全新的内存类型，其架构设计旨在从数据中心中罗致更多价值，重构数据中心内存/存储条理结构。差别于古板的DRAM，英特尔® 傲腾? 长期内存集大容量、经济性和长期性于一身，能够支持数据中心多个应用场景。pg电子官网基于英特尔® 傲腾? 长期内存做了大宗的应用场景解决计划，笼罩大数据剖析、数据库、云与虚拟化、漫衍式存储等应用场景。为了资助用户通过越发灵活的架构来实现立异型的应用，助力企业实现性能突破，pg电子官网宣布了基于英特尔® 傲腾? 长期内存技术的Spark应用计划。

　　Apache Spark是专为大规模数据处理而设计的快速通用的盘算引擎，常用来构建大型、低延迟的数据剖析应用程序。Spark 一个主要特点在于，其能够在内存中进行盘算，这使得其数据剖析效率往往高于其它盘算引擎，可是，效劳器内存资源的限制也使得其性能的扩展保存着一定的瓶颈，在超大规模负载中无法充分发挥其利用内存进行盘算的性能优势。为了解决此问题，pg电子官网在 Spark 计划验证中使用英特尔® 傲腾? 长期内存取代古板的 DRAM 内存，实现了数倍的性能提升，被证明可以作为 Spark 内存扩展的优先计划。

　　Spark 搭载了高效的 DAG 执行引擎，可以通过基于内存来高效处理数据流。与Hadoop 的 MapReduce 相比，Spark 基于内存的运算要快 100 倍以上，基于硬盘的运算也要快10 倍以上，这使得其能够在大数据情况下关于数据进行实时处理。同时，其高容错性和高可伸缩性也使得其成为大数据安排的突出优势，用户可以将 Spark 安排在大宗廉价的硬件之上，形成集群，满足低本钱下的高性能盘算需求。

　　在目今的应用情况下，Spark 可以用于批处理、交互式盘问（Spark SQL）、实时流处理（Spark Streaming）、机械学习（Spark MLlib）、图形盘算（GraphX）等负载，这些差别类型的处理都可以在同一个应用中无缝使用。正是因为 Spark 具备上述优势，所以其广泛应用于云盘算、物联网、机械学习等前沿领域的超大型数据集快速剖析处理之中。

　　显然，高性能的数据剖析是 Spark 的一个重要优势，要提升性能，除了可以在软件优化方面入手之外，还可以从硬件角度进行考虑：由于 Spark 依赖内存进行盘算，所以内存的速度、容量关于盘算效率至关重要，如果数据量凌驾了集群内存能容纳的最大值，部分数据就会落在相对低速的磁盘上，这导致Spark数据处理能力无法充分发挥。

　　扩展内存容量是一个比较简单、直接的要领，可是问题同样保存。首先，效劳器内存插槽有限，且一般支持128GB 的 DRAM 内存，这决定了单台效劳器扩展的总内存容量受到严格限制；其次，如果接纳增加效劳器节点的方法进行扩展，这些增长的效劳器节点不但意味着采购本钱的增加，也会带来不菲的空间、运维本钱。再加上企业级的大容量 DRAM 内存自己就价格腾贵，使得许多企业的 Spark 系统蒙受着巨大的本钱压力。

　　由于介质、技术等原因限制，在现有的技术条件下古板 DRAM 内保存容量与本钱上很难实现质的突破，所以，寻找立异的存储介质与架构也就成为了 Spark 系统性能扩展的重要偏向。在比较英特尔® 傲腾? 长期内存与 DRAM 内存之后，pg电子官网决定实验接纳英特尔® 傲腾? 长期内存来进行 Spark 内存池扩展。

　　pg电子官网选择英特尔® 傲腾? 长期内存的原因不难理解。首先，英特尔® 傲腾? 长期内存提供了行业领先的高吞吐率、低延时、高效劳质量和超高的耐用性，可以提供接近内存的延迟，并支持快速缓存和快速存储，对应用进行加速。

　　其次，英特尔® 傲腾? 长期内存的单设备容量抵达512GB ，远超DRAM 内存的128GB，这使得其可以将系统内存扩展至6TB（不包括系统自身内存）。并且，英特尔® 傲腾? 内存的单位容量价格要远低于DRAM 内存，这些特性支持企业在数据中心安排更大、更经济的数据集，在大型内存池中获得新的洞察。

　　在本计划中，pg电子官网使用英特尔® 傲腾? 内存作为 Spark 系统的存储介质，以解决效劳器内存缺乏的问题。英特尔® 傲腾? 内存有App Direct 模式和内存模式两种模式。本次测试接纳App Direct 模式 ，App Direct 具有数据长期化、高容量、高可用性、显著加速存储速度等特点，是目前英特尔® 傲腾? 内存主要使用模式（两种计划的对好比图1所示）。

　　

　　图1

　　为了验证英特尔® 傲腾? 长期内存的使用关于 Spark 系统性能的影响，pg电子官网基于英特尔® 傲腾? 内存与 DRAM 内存，并划分针对Spark SQL测试与Spark K-Means测试配置了比照计划（接纳相同的硬件配置和组网方法），两套计划的成内幕当，因此可以直观的反应出两套计划的性能价格比。

　　

　　图2

　　首先进行的是 Spark SQL 单机测试（测试结果如图3）与集群测试（测试结果如图4）可以发明，英特尔® 傲腾? 内存计划的单机性能是DRAM计划的7.33倍，集群性能是 DRAM 计划的6.05倍。

　　

　　图3

　　

　　图4

　　接下来pg电子官网进行了 Spark K-Means单机测试（测试结果如图5）与集群测试（测试结果如图6）。测试结果显示，在单机情况下，英特尔® 傲腾? 内存计划在训练方面的性能是DRAM计划的13.74倍，整体性能是DRAM计划的3.93倍；集群情况下，英特尔® 傲腾? 内存计划在训练方面的性能是DRAM计划的10.76倍，整体性能是 DRAM 计划的3.99倍。

　　

　　图5

　　

　　图6

　　效果：英特尔® 傲腾? 内存显著提升 Spark 计划性能与本钱效益

　　以上测试显示，在 Spark 系统的构建历程中，如果需要处理的数据量高于效劳器内存资源，那么基于英特尔® 傲腾? 长期内存的配置计划性能将远超 DRAM 内存计划。这是由于凌驾效劳器内存池容纳能力的数据会落在低速的磁盘上，从而导致处理速度的降低，而英特尔® 傲腾? 内存不但可以提供速度接近 DRAM 内存的快速存储器，并且可支持的内存池总容量远超 DRAM 内存，这能够让 Spark 缓存更多的数据，从而充分发挥 Spark 的数据高速处理优势。

　　尤为重要的是，英特尔® 傲腾? 内保存单位本钱上显著低于 DRAM 内存，这能够资助企业有效控制Spark 系统的TCO。在大型的 Spark 应用实践中，英特尔® 傲腾? 内存作为内存扩展计划，可以资助企业在牢固的性能目标下，有效控制效劳器节点数量以及内存采购本钱，从而实现性能与本钱效益的均衡。