介绍Databricks工作流

今天我们激动地介绍砖的工作流,完全管理的业务流程服务该平台与Databricks Lakehouse平台深度集成。bob体育客户端下载工作流使数据工程师、数据科学家和分析师能够在任何云上构建可靠的数据、分析和ML工作流，而无需管理复杂的基础设施。最后，每个用户都有权为他们的业务计划交付及时、准确和可操作的见解。

湖屋使得企业更容易开展雄心勃勃的数据和机器学习计划。然而，编排和管理生产工作流是许多组织的瓶颈，需要复杂的外部工具(例如Apache workflow)或特定于云的解决方案(例如Azure数据工厂、AWS步骤函数、GCP工作流)。这些工具将任务编排从底层数据处理平台中分离出来，这限制了可观察性，并增加了最终用户的总体复杂性。bob体育客户端下载

Databricks Workflows是为您的所有数据、分析和人工智能需求提供全面管理的编排服务。与底层lakehouse平台的紧密集成确保您在任何云上创建和运行可靠的生产工作负载，同时为最终用bob体育客户端下载户提供简单的深度集中监控。

在任何地方编排任何事情

工作流允许用户使用构建自动管理的ETL管道，包括摄取和沿袭Delta活动表．您还可以将notebook、SQL、Spark、ML模型和dbt的任何组合编排为岗位工作流程，包括对其他系统的调用。工作流可跨GCP、AWS和Azure使用，为您提供充分的灵活性和云独立性。

可靠和全面管理

从一开始就高度可靠，工作流中的每个工作流和每个任务都是隔离的，使不同的团队能够协作，而不必担心影响彼此的工作。作为一个云原生编配器，工作流管理您的资源，因此您不必这样做。您可以依赖工作流来支持任何规模的数据，加入到成千上万的客户中，他们每天都在多个云上使用工作流启动数百万台机器。

为每个用户创建简单的工作流

当我们构建Databricks工作流时，我们希望让任何用户、数据工程师和分析师都能简单地编排生产数据工作流，而不需要学习复杂的工具或依赖it团队。考虑以下训练推荐ML模型的示例。在这里，工作流用于编排和运行七个单独的任务，这些任务摄取订单数据自动加载程序，使用标准的Python代码过滤数据，并使用MLflow笔记本管理模型训练和版本控制。所有这些都可以由数据团队使用工作流UI构建、管理和监控。高级用户可以使用包含CI/CD支持的具有表现力的API构建工作流。

Databricks工作流允许我们的分析师轻松地创建、运行、监控和修复数据管道，而无需管理任何基础设施。这使他们能够完全自主地设计和改进ETL流程，为客户提供必要的见解。我们很高兴将我们的气流管道转移到Databricks工作流。”Anup Segu，高级软件工程师，YipitData

工作流监控集成在湖屋

随着您的组织创建数据和ML工作流，管理和监控它们变得非常必要，而不需要部署额外的基础设施。工作流集成了Databricks中现有的资源访问控制，使您能够轻松地管理跨部门和团队的访问。此外，Databricks工作流包括本机监控功能，以便所有者和管理人员可以快速识别和诊断问题。例如，新推出的矩阵视图让用户一眼就能对不健康的工作流运行进行分类:

由于单个工作流已经被监控，工作流指标可以与现有的监控解决方案集成，如Azure Monitor、AWS CloudWatch和Datadog(目前处于预览版)。

“Databricks工作流解放了我们处理运行日常工作流的后勤工作的时间。通过新实现的修复/重新运行功能，可以在代码修复之后继续作业运行，而不必在修复之前重新运行其他已完成的步骤，从而帮助减少工作流程周期时间。结合ML模型、数据存储和SQL分析仪表板等，它为我们提供了一整套管理大数据管道的工具。”吴燕燕副总裁，Wood Mackenzie - A Verisk业务非常规油气数据主管

开始使用Databricks工作流

为了体验一个完全管理的集成湖屋编码器提供的生产力提升，我们邀请您今天创建您的第一个Databricks工作流。

在Databricks工作区中，选择Workflows，单击Create，按照UI中的提示添加第一个任务，然后添加后续任务和依赖项。了解更BOB低频彩多Databricks工作流程访问我们的网页而且阅读文档．

观看下面的演示，发现Databricks工作流的易用性:

在接下来的几个月里，您可以期待更容易编写和监视工作流的功能。在此期间，我们会的很高兴收到你的来信关于你的经历和其他你想看到的特点。