Dongjoon Hyun

Zstandard快速压缩算法,您可以使用Apache引发的各种方式。在这个演讲,我简要地总结了Apache火花在这一领域的进化历史和四个主要用例和福利和下一个步骤:
1)ZStandard可以优化引发本地磁盘IO显著压缩洗牌文件。这是非常有用的在美丽的环境中。不仅是有益的,当你使用“emptyDir”与“记忆”中,也最大化操作系统缓存的好处当您使用本地存储共享ssd或容器。3.2在火花,火花- 34390利用ZStandard缓冲池特性及其性能令人印象深刻,。
2)事件日志压缩节省存储成本的另一个领域是云存储S3和提高可用性。火花- 34503正式切换默认事件日志压缩编解码器LZ4 Zstandard。
3)Zstandard数据文件压缩可以给你更多的好处,当你使用兽人/铺文件作为输入和输出。Apache兽人1.6支持Zstandardalready和Apache火花使它通过火花- 33978。即将到来的镶花1.12将支持Zstandard压缩。
4)最后,但并非最不重要,因为Apache 3.0火花,Zstandard用于序列化/反序列化MapStatus数据而不是Gzip。

有更多的社会工作利用Zstandard改善火花。例如,Apache Avro社区还支持Zstandard和火花- 34479旨在支持Zstandard火花的火花3.2.0 Avro文件格式。

(daisna21-sessions-od)

所有生产环境需要监控和报警。Apache火花也有一个可配置的指标系统,以允许用户报告引发度量各种各样的下沉。普罗米修斯是一个流行的开源监视和报警工具包一起使用Apache火花。在此之前,用户可以使用

1. 普罗米修斯JMX出口国和Apache JMXSink火花
2. 第三方库
3. 实现一个自定义的水槽等更复杂的指标GPU资源使用情况

Apache火花3.0.0将添加另一个简单的方法来支持普罗米修斯通用用例。在这次演讲中,我们将讨论以下和演示。

1. 如何启用新普罗米修斯特性。
2. 什么样的指标是可用的。
3. 一般建议对结构化流媒体监控和报警工作。(火花/普罗米修斯一起)

目前,Apache火花暴露指标在主/工人/司机/执行器集成现有的普罗米修斯服务器轻松省力。这已经是Apache火花3.0.0-preview和preview2可用。你现在可以试一试。