首页 > 开发 > Apache > 正文

2018即将推出的Apache Spark 2.4都有哪些新功能

2020-04-16 19:31:20
字体:
来源:转载
供稿:网友

本文来自于2018年09月19日在 Adobe Systems Inc 举行的Apache Spark Meetup。

即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对Apache Spark 2.4 的主要功能和增强功能进行了概述。

新的调度模型(Barrier Scheduling),使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中,以简化分布式训练工作流程。 添加了35个高阶函数,用于在 Spark SQL 中操作数组/map。 新增一个新的基于 Databricks 的 spark-avro 模块的原生 AVRO 数据源。 PySpark 还为教学和可调试性的所有操作引入了热切的评估模式(eager evaluation mode)。 Spark on K8S 支持 PySpark 和 R ,支持客户端模式(client-mode)。 Structured Streaming 的各种增强功能。 例如,连续处理(continuous processing)中的有状态操作符。 内置数据源的各种性能改进。 例如,Parquet 嵌套模式修剪(schema pruning)。 支持 Scala 2.12。

点击 示说网 ,即可下载此PPT。

总结

以上所述是小编给大家介绍的2018即将推出的Apache Spark 2.4都有哪些新功能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对错新站长站网站的支持!

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表