上轻松地摄取和转换批处理和流数据Databricks Lakehouse平bob体育客户端下载台.在Databricks自动大规模管理基础设施的同时,编排可靠的生产工作流。通过内置的数据质量测试和对软件开发最佳实践的支持,提高团队的生产力。
统一批处理和流处理
使用单一统一的API在一个平台上消除竖井,以大bob体育客户端下载规模地摄取、转换和增量处理批处理和流数据。
专注于从数据中获取价值
Databricks自动管理您的基础设施和生产工作流的操作组件,因此您可以专注于价值,而不是工具。
连接你所选择的工具
一个开放的Lakehouse平台,连bob体育客户端下载接和使用您首选的数据工程工具进行数据摄取,ETL/ELT和编排。
在湖屋平台上建造bob体育客户端下载
Lakehouse平台为构建bob体育客户端下载和共享受信任的数据资产提供了最好的基础,这些资产由中央管理,可靠且速度极快。
它是如何工作的?
简化数据摄取
自动ETL处理
可靠的工作流编排
端到端的可观察性和监测
下一代数据处理引擎
治理、可靠性和绩效的基础
简化数据摄取
摄取数据到您的Lakehouse平bob体育客户端下载台并为你的分析、人工智能和流媒体应用来自一个地方。自动加载程序在计划或连续作业中增量和自动处理落在云存储中的文件(不需要管理状态信息)。它有效地跟踪新文件(扩展到数十亿),而不必将它们列在目录中,并且还可以自动从源数据推断模式,并随着时间的变化而演进它。的复制到命令使分析人员可以轻松地将批处理文件导入三角洲湖通过SQL。
自动ETL处理
原始数据一旦摄入,就需要转换,以便为分析和人工智能做好准备。Databricks为数据工程师、数据科学家和分析师提供强大的ETL功能Delta活动表(DLT)。DLT是第一个使用简单的声明式方法在批处理或批量处理上构建ETL和ML管道的框架流数据,同时自动化复杂的操作,如基础设施管理、任务编排、错误处理和恢复,以及性能优化。使用DLT,工程师还可以将数据视为代码,并应用软件工程最佳实践,如测试、监控和文档,以大规模部署可靠的管道。
可靠的工作流编排
砖工作流是否为您的所有数据、分析和人工智能提供完全管理的编排服务Lakehouse平bob体育客户端下载台.为整个生命周期编排不同的工作负载,包括Delta活动表而且工作对于SQL,火花,笔记本,dbt, ML模型等。与底层Lakehouse平台的深度集成确保您可以在任何云上创建和运行可靠的生产工作负载,同时为bob体育客户端下载最终用户提供简单的深度集中监控。
端到端的可观察性和监测
Lakehouse平台为您提bob体育客户端下载供整个数据和人工智能生命周期的可见性,因此数据工程师和运营团队可以实时查看生产工作流的健康状况,管理数据质量并了解历史趋势。在砖工作流您可以访问跟踪生产作业的运行状况和性能的数据流图和仪表板Delta活动表管道。事件日志还公开为三角洲湖表格,您可以从任何角度监控和可视化性能、数据质量和可靠性指标。
下一代数据处理引擎
Databricks数据工程是由光子,下一代引擎兼容Apache Spark api交付破纪录的价格/性能,同时自动扩展到数千个节点。Spark结构化流为批处理和流处理提供了单一和统一的API,使其易于采用流在湖屋上无需更改代码或学习新技能。
最先进的数据治理、可靠性和性能
Databricks上的数据工程意味着您将受益于Lakehouse平bob体育客户端下载台-统一目录和三角洲湖。对原始数据进行优化三角洲湖,一种开源bob下载地址存储格式,通过ACID事务提供可靠性,以及具有闪电般的性能的可扩展元数据处理。这与统一目录为所有数据和人工智能资产提供细粒度治理,简化治理方式,使用一个一致的模型跨云发现、访问和共享数据。Unity Catalog还提供本地支持三角洲分享这是业界首个用于与其他组织简单安全共享数据的开放协议。
迁移到Databricks
厌倦了与Hadoop和企业数据仓库等遗留系统相关的数据筒仓、缓慢的性能和高成本?迁移到Databricks Lakehouse:所有数据、分析和人工智能用例的现代平台。bob体育客户端下载
集成
为您的数据团队提供最大的灵活性-杠杆合作伙伴联系一个生态系统技术合作伙伴bob体育外网下载与流行的数据工程工具无缝集成。例如,你可以用Fivetran获取关键业务数据,用dbt就地转换数据,用Apache Airflow编排管道。
数据摄取和ETL
+任何其他Apache Spark™️兼容客户端