特里金

多维空间是最近从微软开源(https://github.com/microsoft/hyperspace)索引子系统。多维空间背后的关键理念很简单:用户指定他们想要建立索引。多维空间构建这些索引使用Apache火花,并维护元数据的写前日志存储在数据湖。在运行时,超空间自动选择最佳指数用于给定的查询,而无需用户改写他们的查询。介绍了多维空间以来,引发社会的最受欢迎的要求是索引支持三角洲湖。在这次演讲中,我们提出我们的经验设计和实现多维空间支持三角洲湖以及它如何可以用于加速/δ表的查询。我们将介绍三角洲湖的事务日志设计背后的必要基础和多维空间是如何启用索引支持无缝工作前的时间旅行的查询。

(daisna21-sessions-od)

注意:这是一个重复的高评级会议6月火花+人工智能峰会。享受吧!

在微软,我们存储数据集(从内部团队和外部客户)从100年代几GBs湖PBs的数据。对这些数据集的分析范围的范围从传统batch-style查询(例如,OLAP)探测的,“发现海里捞针”类型的查询(如point-lookups、总结等)。采取这些大型数据集的线性扫描与巨大的集群每个简单的查询都是昂贵而不是首选我们的许多客户,他们不断探索(并要求!)方法来减少运营成本,导致未经检查的费用是他们的噩梦。多年来,我们已经看到一个巨大的需求,将“索引”功能,事实上世界上传统的数据库系统进入Apache火花。

在很多方面改善查询性能和降低资源消耗在数据库系统中,索引是特别有效的为特定的工作负载,因为他们提供巨大的加速度可以减少扫描的数据量对于一个给定的查询,因此也导致降低资源成本。在这次演讲中,我们提出我们的经验设计、实现和实施多维空间,索引子系统为Apache火花介绍了能力为用户构建、维护(通过一个多用户的并发模型)和利用索引(自动没有任何更改现有代码)的数据(例如,CSV、JSON、拼花等)查询/工作量加速度。我们将介绍必要的基础我们索引的基础设施包括API设计的背后,我们如何利用火花的催化剂优化器还提供一个透明的用户体验和讨论我们的发展路线图。通过演讲,基准,代码示例和笔记本电脑,这将是一个有趣的会话,所以来加入我们开始这段旅程。多维空间最近在https://github.com/microsoft/hyperspace开源

在微软,我们存储数据集(从内部团队和外部客户)从100年代几GBs湖PBs的数据。对这些数据集的分析范围的范围从传统batch-style查询(例如,OLAP)探测的,“发现海里捞针”类型的查询(如point-lookups、总结等)。采取这些大型数据集的线性扫描与巨大的集群每个简单的查询都是昂贵而不是首选我们的许多客户,他们不断探索(并要求!)方法来减少运营成本,导致未经检查的费用是他们的噩梦。多年来,我们已经看到一个巨大的需求,将“索引”功能,事实上世界上传统的数据库系统进入Apache火花。

在很多方面改善查询性能和降低资源消耗在数据库系统中,索引是特别有效的为特定的工作负载,因为他们提供巨大的加速度可以减少扫描的数据量对于一个给定的查询,因此也导致降低资源成本。在这次演讲中,我们提出我们的经验设计、实现和实施多维空间,索引子系统为Apache火花介绍了能力为用户构建、维护(通过一个多用户的并发模型)和利用索引(自动没有任何更改现有代码)的数据(例如,CSV、JSON、拼花等)查询/工作量加速度。我们将介绍必要的基础我们索引的基础设施包括API设计的背后,我们如何利用火花的催化剂优化器还提供一个透明的用户体验和讨论我们的发展路线图作为我们努力开源工作更广泛的社区的利益。通过演讲,基准,代码示例和笔记本电脑,这将是一个有趣的会话,所以来加入我们开始这段旅程。

我们提出一个新的、免费的开源框架,旨在使火花访问数以百万计的。net开发人员。在这个会话,我们将提供一个高水平的概述。net绑定火花的努力,展示一些关键功能如何使用和参与,并介绍如何使用。net绑定等引发与其他。net框架砖的三角洲建设E2E实时分析的解决方案。这将是一个有趣的会议演示鳞次栉比,因此来加入我们开始的。net绑定火花的旅程!

我们提出一个新的、免费的开源框架,旨在使火花访问数以百万计的。net开发人员。在这个会话,我们将提供一个高水平的概述。net绑定火花的努力,展示一些关键功能如何使用和参与,并介绍如何使用。net绑定火花与其他类似ML.NET这样的。net框架,构建E2E实时分析解决方案。这将是一个有趣的会议演示鳞次栉比,因此来加入我们开始的。net绑定火花的旅程!