通过“修复和重新运行”节省数据和ML工作流的时间和金钱

砖的工作是所有数据、分析和AI的完全管理协调器。它允许任何用户轻松创建和运行带有多个任务的工作流，并定义任务之间的依赖关系。这使得代码模块化、更快的测试、更有效的资源利用和更容易的故障排除成为可能。与底层lakehouse平台的深度集成确保工作负载在生产中可靠，同时提供全面的监控和可伸缩性。bob体育客户端下载

为了支持现实生活中的数据和机器学习用例，组织需要构建具有许多不同任务和依赖关系的复杂工作流，从数据摄取和ETL到ML模型训练和服务。这些任务中的每一个都需要以特定的顺序执行。

但是，当工作流中的一个重要任务失败时，它会影响所有关联的下游任务。要恢复工作流，您需要知道所有受影响的任务，以及如何在不从头重新处理整个管道的情况下处理它们。Databricks作业中新的“修复和重新运行”功能就是为了解决这个问题而设计的。

考虑以下示例，该示例从一个API检索有关公交车站的信息，然后尝试从另一个API获取每个车站的实时天气信息。然后，所有这些API调用的结果都被摄取、转换和聚合Delta活动表的任务。

在正常操作期间，该工作流将从头到尾成功运行。但是，如果检索天气数据的任务失败了，会发生什么呢?可能由于某些原因，天气API暂时不可用。在这种情况下，由于上游依赖项失败，Delta Live Tables任务将被跳过。显然，我们需要重新运行我们的工作流，但是从头开始整个流程将花费时间和资源重新处理所有的station_information数据。

新推出的“修复和重新运行”功能不仅可以告诉你工作失败发生的确切位置，还可以让你重新运行所有受到影响的任务。这节省了大量的时间和成本，因为您不需要重新处理已经成功的任务。

如果作业运行失败，现在可以单击“修复运行”开始重新运行。弹出窗口将显示将执行哪些剩余任务

然后给新运行一个唯一的版本号，该版本号与失败的父运行相关联，从而便于检查和分析历史故障。

当任务失败时，Databricks job的“修复和重新运行”可以帮助您快速修复生产管道。直观的UI会准确地显示哪些任务受到了影响，这样您就可以在不重新运行整个流程的情况下修复问题。这节省了时间和精力，同时提供了深刻的见解，以缓解未来的问题。

“修复和重新运行”现在是通用的(GA)，紧随最近推出的集群重用．

接下来是什么

我们对即将到来的路线图感到兴奋，并期待着收到你的来信．