丹尼尔Imberman

在支持数据科学团队时，数据工程师的任务是构建一个让广泛的利益相关者满意的平台。bob体育客户端下载数据科学家想要快速迭代，基础设施工程师想要监控和安全控制，产品所有者想要他们的解决方案及时部署到季度报告中。这些利益相关者之间的协作可能很困难，因为每个数据科学管道都有一组独特的约束和系统需求(计算资源、网络连接等)。出于这些原因，数据工程师努力为他们的数据科学家提供尽可能多的灵活性，同时保持可观察和弹性的基础设施。近年来，Apache气流(Airbnb开发的基于python的任务编排器)作为数据科学家和基础设施工程师之间的协作平台越来越受欢迎，他们希望使用户免受冗长和严格的YAML文件的影响。bob体育客户端下载Apache气流提供了一个灵活的python接口，可以用作数据工程师和数据科学家之间的协作点。数据工程师可以构建抽象底层系统细节的自定义操作符，数据科学家可以使用这些操作符(以及更多操作符)构建各种各样的数据管道。在这次演讲中，我们将从单机笔记本电脑到跨服务的Spark + Tensorflow管道，再到谷歌Cloud Functions上的经过严格测试、超参数调优、可用于生产的模型。我们将展示Apache气流如何连接数据团队的所有层，以提供快速的结果。