朱利安Peloton

我们的研究小组正在研究如何利用Apache火花(批、流媒体和实时)分析当前和未来的数据集在天文学。在未来的大型实验中,大口径综合巡天望远镜(口径)很快就会开始收集每观察晚上tb的数据,和高效的实时和历史数据处理和分析仍然是一个重大的挑战。在这次讲座我们将暴露的主要挑战和探索天文学的最新发展为大数据问题。

一方面,我们设计了一个新的数据源API扩展本地操作和天文望远镜图像表在Apache火花。然后我们延长了Apache火花SQL模块的功能,以减轻操纵三维数据集和执行有效的查询:分区,数据集加入cross-match,最近的邻居搜索、空间查询等等。

另一方面我们使用结构化流api提供的新的可能性最近Apache火花版本启用实时决策,快速访问和分析每天晚上发出的警报的望远镜。鉴于下一代望远镜的前所未有的精度,警报的溪流将数以百万计的每晚警报,和依赖结构化流的保证不是缺少最新的黑洞事件的数据!我们还将分享主动学习发展上用来改善实时事件选择和分类口径望远镜。

你会带走一个现代挑战的理解,天文学,欣赏一些美丽的夜空,以及Apache火花如何帮助推动进一步科学的前沿!