Jiri是一名开发人员、开源爱好者、红帽人、杂耍者、极客、数据科学家,也是两个孩子的父亲
你有没有想过如何在Kubernetes中为你的X服务实现你自己的操作符模式?你可以在本节课中学习到这一点,并看到一个开源项目的例子,该项目遵循这种模式在Kubernetes和OpenShift上生成Apache Spark集群。在结束这次演讲时,您将更好地理解如何利用spark-on-k8s本机调度机制,以及如何不仅在Go lang中,而且在Java中将您自己的服务包装成操作符模式。带有spark操作符和可选的spark集群的pod暴露了普罗米修斯的指标,因此它使它eas
区块链已经成为一个流行词:人们对分布式账本和加密货币感到兴奋,但这些技术被神话和误解所笼罩。本次演讲将通过使用Apache Spark分析区块链事务来阐明这项令人敬畏的技术是如何在实践中实际使用的。
我们将首先简要介绍区块链事务,以及如何从公共二进制格式获得ETL事务图数据。然后,我们将看看如何在Spark中建模图形数据,简要比较GraphFrames和GraphX。大部分演示将是一个现场演示,在云中的Spark上运行,展示我们如何在事务图数据上运行各种查询,解决图算法(如PageRank)以识别重要的BTC地址,观察网络演化等等。
本次演讲中描述的所有工作都以开放源代码的形式发布,所有数据都是公开的,可以用于社区实验以及所有容器。bob下载地址在结束这次演讲时,您将更好地理解Spark中的区块链技术和图形处理,并且您将拥有具体的工具来重现我的研究或开始回答您自己的问题。
会话标签:#Exp6SAIS