数据在蔚蓝的湖泊
完整的权力和权威数据源lakehouse
湖是什么数据?
运行数据,分析和人工智能工作负载在一个简单的、开放和协作原生云平台,轻松地集成了安全与管理工具,使您能够扩展现有的治理策略平和的心态和更大的控制权。bob体育客户端下载
什么是Azure数据湖?
Azure的数据包括可伸缩、湖云数据存储和分析服务。Azure数据湖存储允许任何规模的组织存储数据,格式和速度进行各种各样的处理,数据分析和科学的用例。当使用其他Azure服务——例如Azure砖——Azure数据存储是一个湖更有成本效益的方法来存储和检索数据在整个组织。
你的数据是否大或小,快或者慢,结构化或非结构化,Azure数据集成了Azure身份,湖管理和安全来简化数据管理和治理。Azure存储自动加密数据和Azure砖提供工具来维护数据来满足您的组织的安全性和遵从性需求。
你为什么需要一个湖Azure数据?
湖泊是开放数据格式,所以用户避免锁定专有系统像一个数据仓库。开放标准和格式已经成为越来越重要的在现代数据架构。数据湖泊也高度耐用,成本低,因为他们的规模和杠杆对象存储的能力。此外,先进的分析和机器学习对非结构化数据的一些最今天企业战略重点。独特的摄取各种格式的原始数据的能力——结构化、非结构化和半结构化——连同提到的其他好处让数据存储的数据湖明确的选择。
当适当的架构,数据湖泊提供的能力:
- 电力数据科学和机器学习
- 集中,巩固和目录数据
- 快速和无缝集成不同的数据来源和格式
- 民主化数据提供用户自助服务工具
之间的区别是什么一个Azure数据湖和Azure数据仓库吗?
数据湖是一个中央位置,拥有大量数据在本土,原始格式,以及组织大量的高度多样化的数据。相比,分层数据仓库,数据存储在文件或文件夹,一个数据湖使用平面结构来存储数据。数据湖泊通常在一个可扩展的硬件集群配置。因此,您可以将原始数据存储在湖的情况下,需要在将来的某个日期,而不用担心数据格式,大小或存储容量。
此外,数据集群可以存在本地或在云中湖。历史上,“数据湖”一词常与Hadoop-oriented对象存储,但是今天这个术语通常指的是更广泛的一类对象存储。对象存储存储数据与元数据标签和一个独特的标识符,这使得它更容易定位和检索数据跨区域并提高了性能。砖Lakehouse平台使所有的数据在数据湖可供任bob体育客户端下载意数量的数据驱动的用例。
你如何建立一个数据湖湖使用Azure砖和Azure数据存储?
在Azure托管三角洲湖砖提供了一层的可靠性,使您的副牧师,从数据分析和推导的价值在云湖。
- Azure砖从事件队列读取流数据,如Azure事件中心,Azure物联网中心或卡夫卡和原始事件装入优化、压缩三角洲湖表和文件夹(青铜层)存储在Azure存储数据湖。
- 计划或触发Azure数据工厂管道来自不同数据源的数据副本的原始格式湖到Azure数据存储。汽车装载机在Azure砖过程文件的土地和负载优化,压缩三角洲湖表和文件夹(青铜层)存储在Azure存储数据湖。
- 流或计划/触发Azure砖工作从青铜层读取新事务,然后加入,干净、变换和聚合前使用酸事务(插入、更新、删除、合并)将它们加载到策划数据集(金银层)存储在三角洲湖湖Azure数据存储。
湖现代数据架构
一个现代lakehouse建筑那结合性能、可靠性和数据完整性仓库的灵活性,规模和支持非结构化数据在数据湖。
现代数据湖泊利用弹性云存储几乎无限数量的数据”,“而不需要征收模式或结构。结构化查询语言(SQL)是一种强大的查询语言来探索您的数据,发现有价值的见解。三角洲湖是一个开源存储层带来可靠性bob下载地址与ACID事务数据湖泊,可扩展的元数据处理和统一的流和批量数据处理。三角洲湖是完全兼容,为现有数据湖带来了可靠性。
你可以查询你的数据使用SQL和三角洲湖湖Azure砖。三角洲湖使您能够执行SQL查询流和批处理数据而不移动或复制数据。Azure砖提供额外的好处在处理湖三角洲湖,以确保您的数据通过本机与云服务的集成,提供最佳性能,帮助审计和故障诊断的数据管道。
- 三角洲湖集成了可伸缩的云存储或HDFS帮助消除数据孤岛
- 探索你的数据使用SQL查询和一个层符合acid事务将直接在您的数据
- 利用金、银、铜牌奖章表”进行整合和简化数据质量为您的数据管道和分析工作流
- 使用三角洲湖时间旅行,看看你的数据改变随着时间的推移
- Azure砖与三角洲缓存等功能,优化了性能的文件压缩和数据跳过
