大奖章架构

一个图案架构是什么?

一个大奖章架构是一种数据设计模式用于逻辑上组织数据lakehouse,目标是逐步和逐步提高的结构和质量数据流经每一层的架构(从青铜⇒银⇒金层表)。图案结构有时也被称为“种”架构。

lakehouse架构的好处

• 简单的数据模型
• 容易理解和实现
• 支持增量ETL
• 可以在任何时候重新创建表从原始数据
• ACID事务,时间旅行

一个快速入门lakehouses

一个lakehouse是一种新的数据平台架构模式,bob体育客户端下载结合湖泊和数据仓库数据的最佳特性。现代lakehouse是一个高度可扩展和性能数据平台托管生和准备数据集快速业务消费和推动先进的业务洞察力和决策。bob体育客户端下载它打破了数据仓库,并允许无缝、安全数据访问授权用户在整个企业在一个平台上。bob体育客户端下载

铜层(原始数据)

的铜层是我们土地的所有数据从外部源系统。这一层的表结构对应于源系统表结构“按原样”,以及任何额外的元数据列捕获装载日期/时间,进程ID,等。重点在这一层是快速变化数据捕获和能力提供一个历史档案的来源(冷藏),数据沿袭,审核,如果需要再加工没有重读数据从源系统。

银层(洁净和符合数据)

在银层lakehouse,青铜层相匹配的数据,合并,符合和清洗(“足够的”),这样银层可以提供一个“企业”观点的所有关键业务实体、概念和事务。成(如主客户,商店,交易和交叉引用表)。

银层将来自不同数据源的数据到一个企业视图,使自助分析专门报告,先进的分析和毫升。作为来源部门分析师、工程师和数据科学家进一步创建项目和分析业务问题回答通过企业、部门数据项目在金层。

lakehouse数据工程范例,通常英语教学法之后对ETL -这意味着只有最小或“足够”转换和数据清理规则应用在加载银层。速度和敏捷性摄取和交付数据在数据湖是优先,很多具体项目复杂的转换和业务规则应用在加载数据从银金层。从数据建模的角度来看,银层3 rd-normal形式像数据模型。76年数据的拱顶,write-performant数据模型可以用在这一层。

金层(策划业务级表)

中的数据金层lakehouse通常是有组织的“具体项目”数据库访问并停留。报告和使用更多标准化的黄金层是用更少的连接和读取最优化的数据模型。最后一层的数据转换和数据质量规则应用。最后表示层的项目,如客户分析、产品质量分析、库存分析、客户细分、产品推荐、标记/销售分析等在这一层。我们看到很多金博风格明星基于数据模型或Inmon风格数据集市lakehouse适合这个金层。

所以你可以看到数据策划在整个lakehouse的不同层。在某些情况下,我们也看到,许多传统RDBMS数据集市和企业级数据仓库的技术堆栈摄取到lakehouse,这样企业可以首次“pan-EDW”高级分析和毫升——这是不可能的或传统的堆栈上的成本太高。(如物联网/制造业数据与销售和营销缺陷数据分析或卫生保健基因组学、EMR / HL7临床数据市场与金融债权的数据创建一个湖医疗数据及时、改善病人护理分析。)

图案架构和数据网格

大奖章架构兼容的概念数据网格。铜和银表可以“一对多”的方式连接在一起,这意味着一个上游表中的数据可以被用来生成多个下游表。

(今天试着砖免费]