安德烈Jasiskis

Nubank是拉丁美洲领先的金融科技公司。该公司利用尖端技术、设计和数据，旨在对抗复杂性，使人们能够控制自己的财务。我们正在通过建立一个简单、安全和100%数字化的环境来打破过时和官僚的系统。

为了取得成功，我们需要不断地在洞察的速度上做出更好的决策，这就是我们在构建Nubank数据平台时的目标。bob体育客户端下载在这次演讲中，我们将探索和分享指导原则，以及我们如何创建一个自动化、可扩展、声明式和自助服务的平台，该平台拥有200多名贡献者，其中大部分是非技术人员，可以构建8000个不同的数据集，从800个数据库中获取数据，利用Apache Spark的表达性和可伸缩性。bob体育客户端下载

我们想探讨的主题是:
-在创建新服务时，让数据摄取成为一件简单的事情
-缩短部署新数据集和机器学习模型到生产的周期时间
-关闭循环，并利用在分析环境中处理的知识来做出生产决策
-为用户提供完美的抽象层次

你会从这次演讲中得到:
-我们对“日志”的热爱，以及我们如何使用它将数据库从其模式中分离出来，并将工作分布到整个团队，以保持模式的更新。
-我们如何使用Kafka流使数据摄取变得如此简单，以至于团队不再使用数据库来分析数据。
-依赖DataFrame API创建数据集的巨大好处，可以进行端到端测试，验证8000个数据集甚至不需要运行Spark Job等等。
-创建适当数量的抽象和限制的重要性，以获得优化的能力。