介绍砖工作流

今天我们兴奋地介绍砖的工作流,全面管理编制服务这是深深与砖Lakehouse集成平台。bob体育客户端下载工作流支持数据工程师、数据科学家和分析师建立可靠的数据,分析和ML工作流在任何云,而不需要管理复杂的基础设施。最后,每个用户被授权提供及时、准确、可行的见解为他们的业务计划。

lakehouse使它更容易为企业进行雄心勃勃的数据和ML的举措。然而,编排和管理生产工作流是许多组织的瓶颈,需要复杂的外部工具(例如Apache气流)或特定于云的解决方案(例如Azure数据工厂,AWS步功能,GCP工作流)。这些工具单独任务编排从底层数据处理平台限制可观测性,并提高了整体复杂性为最终用户。bob体育客户端下载

砖工作流是全面管理编制服务对于你所有的数据,分析,和人工智能的需要。紧密集成与底层lakehouse平台确保您创建和运行可靠的生产工作负载在任何云,为终端用户提供深bob体育客户端下载度和集中监控与简单。

安排什么地方

工作流允许用户构建ETL管道自动管理,包括摄入和血统,使用三角洲生活表。你也可以安排笔记本的任意组合,SQL,火花,毫升模型,和印度生物技术部岗位工作流程,包括调用其他系统。工作流可以在GCP、AWS和Azure,云给你完整的灵活性和独立性。

可靠和全面管理

建造高度可靠的,每一个工作流和工作流中的任务是孤立的,使不同的团队合作,而不必担心影响彼此的工作。进行协调器,工作流管理你的资源,所以你不需要。你可以依靠工作流数据在任何规模,加入了成千上万的顾客已经推出数以百万计的机器每天工作流程和跨多个云。

简单的工作流编辑每一个用户

当我们建立砖工作流,我们想让它为任何用户简单,数据工程师和分析师,编排生产数据工作流无需学习复杂的工具或依赖于it团队。考虑下面的例子,火车一个推荐ML模式。这里,使用工作流编排和运行七种不同的任务,摄取订单数据自动加载程序过滤数据与标准Python代码,和使用笔记本电脑与MLflow培训和版本管理模型。所有这些可以构建、管理和监视数据团队使用工作流UI。高级用户可以使用一个表达API包括构建工作流支持CI / CD。

“砖工作流允许我们的分析师轻松地创建、运行、监控、管道没有任何基础设施管理和修复数据。这让他们拥有完整的自主设计和提高ETL过程,为我们的客户生产必备的见解。我们兴奋地移动气流管道砖工作流。“阿努普Segu,高级软件工程师,YipitData

在Lakehouse工作流监控集成

作为你的组织创建数据和ML工作流,就必须管理和监控他们无需部署额外的基础设施。工作流集成在砖与现有的资源访问控制,使您可以轻松地管理跨部门和团队的访问。此外,砖工作流包括本地监视功能,以便业主和管理人员可以快速识别和诊断问题。例如,新发布矩阵视图允许用户分流不健康的工作流运行乍一看:

作为单独的工作流已经监控、工作流等指标可以与现有的监控解决方案集成Azure监视器,AWS监测,Datadog预览(目前)。

“砖工作流的释放我们的时间在处理物流日常工作流运行。用新修复/重新运行功能实现,它帮助减少我们的工作流程周期时间继续工作运行代码修复后无需重新运行之前完成其他步骤修复。与ML模式相结合,数据存储和SQL分析仪表盘等,它为我们提供了一个完整的套件工具对我们管理我们的大数据管道。“吴Yanyan副总裁,将数据,Wood Mackenzie——Verisk的业务

开始使用砖工作流

生产力提高,全面管理经验,综合lakehouse协调器提供,我们邀请你今天来创建您的第一个砖工作流。

在砖工作区,选择工作流,单击Create,提示在UI中添加你的第一个任务,然后后续任务和依赖关系。更多地BOB低频彩了解砖工作流的访问我们的网页和阅读文档。

看下面的演示发现砖工作流的易用性:

在接下来的几个月,你可以期待的特性,使它更容易作者和监控工作流和更多。与此同时,我们会听到你的爱关于你的经验和其他功能你想看到的。