现在通常可用:简化数据和机器学习管道与编制工作

我们兴奋地宣布的一般可用性工作编制,一个新功能,可以让砖客户轻松构建数据和机器学习的管道组成的多个相关的任务。

今天,数据管道经常被定义为一个序列依赖的任务简化他们的一些复杂性。但是,他们仍然需要繁重的数据团队和专门的工具来开发,管理、监控和可靠运行这样的管道。这些工具通常是独立于实际数据或机器学习任务。缺乏跨企业集成导致分裂的努力和用户上下文切换。

与今天的发射,编排管道已经变得更为容易。策划多步骤的工作使它简单定义数据和ML管道使用相互依存,模块化任务组成的笔记本,Python脚本和罐子。数据工程师可以很容易地创建和管理多步骤的变换和改进数据的管道,和机器学习算法训练,所有熟悉的工作空间内的砖,拯救球队巨大的时间和精力。

在上面的示例中,包含多个任务的工作使用两个任务来摄取数据:Clicks_Ingest Orders_Ingest。摄入数据过滤然后聚合在一起,在“匹配”的任务,机器学习的新特性(Build_Features),生成持久(Persist_Features),用来训练新模式(火车)。

我们非常感谢成百上千的顾客提供反馈在一个成功的公共预览版的工作编排与多个任务。根据他们的输入,我们有进一步的改进:简化调试工作流、信息面板提供工作的概述,和一个新的2.1版本的API(工作AWS|Azure|GCP),以支持新的编排特点。

“工作编排是惊人的,比一个编排笔记本。我们的工作现在有多个任务,结果比我想象的更容易实现。我不能想象没有砖实现此类数据管道。”- Omar Doma, Data Engineering Manager at BatchService

今天开始新工作编排现在通过启用自己的工作区(AWS|Azure|GCP)。否则,auto-enablement将发生在接下来的几个月。

在未来几个月,我们将有可能在多个任务之间重用相同的集群的工作和修复失败的工作而不需要一个完整的重新运行。我们也期待发射特性,将有可能与你现有的业务流程集成的工具

使您的工作区

• 在AWS砖
• Azure砖
• 砖在谷歌的云