大奖章아키텍처란무엇입니까?
메달리온아키텍처는레이크하우스에논리적으로데이터를정리하는데사용하는데이터설계패턴입니다。이아키텍처의목표는데이터가아키텍처의각레이어를통과하는동안(브론즈⇒실버⇒골드레이어테이블)데이터의구조와품질을증분적,점진적으로개선하는것입니다。메달리온아키텍처는“멀티홉”아키텍처라고부르기도합니다。
레이크하우스아키텍처의장점
- 간단한데이터모델
- 쉽게이해하고구현가능
- 분적etl지원
- 언제든원시데이터에서테이블생성가능
- 酸트랜잭션，시간이동
레이크하우스에대한간단한설명
레이크하우스는데이터레이크와데이터웨어하우스의장점만을결합한새로운데이터플랫폼아키텍처패러다임입니다。현대적레이크하우스는매우확장성이높고성능이우수한데이터플랫폼으로,원시데이터세트와준비된데이터세트를모두호스팅하여기업에서빠르게사용할수있도록지원합니다。또한，고급비즈니스marketing사이트를확보하고결정에도움을받을수있습니다。데이터사일로를무너트리고,하나의플랫폼에서회사전체의권한이있는사용자에게매끄럽고안전한데이터액세스를제공합니다。
브론즈레이어(원시데이터)
브론즈레이어에는외부소스시스템의모든데이터가들어갑니다。이레이어의테이블구조는소스시스템테이블구조에"그대로”대응하며,로드날짜/시간,프로세스ID등을캐캡처하는메타데이터컬럼이추가됩니다。이레이어는변경데이터를빠르게캡처할뿐만아니라,소스(콜드스토리지)의과거아카이브,데이터리니지,감사기능,필요할경우소스시스템에서데이터를다시읽지않고도재처리하는기능을제공하는것이핵심입니다。
실버레이어(정리와순응이끝난데이터)
레이크하우스의실버레이어에서는브론즈레이어의데이터에매칭,병합,순응,(“적당한수준”으로)정리를적용합니다。실버레이어에서는모든주요비즈니스단체,개념,트랜잭션에대한”엔터프라이즈뷰“를제공합니다。(예:마스터고객，스토어，중복이없는트랜잭션，교차참조테이블)。
실버레이어는다른소스의데이터를엔터프라이즈뷰로가져오고,즉석보고를위한셀프서비스분석과고급분석,毫升을지원합니다。실버레이어는부서애널리스트,데이터엔지니어,데이터사이언티스트에게는소스역할을하면서,이들이프로젝트와분석을추가로생성하여골드레이어에있는회사및부서데이터프로젝트를통해비즈니스문제에답할수있도록돕습니다。
在lakehouse数据工程范式中，通常遵循ELT方法而不是ETL——这意味着在加载Silver层时只应用最小的或“刚刚足够”的转换和数据清理规则。在数据湖中吸收和交付数据的速度和敏捷性是优先考虑的，在将数据从Silver层加载到Gold层时，应用了许多特定于项目的复杂转换和业务规则。从数据建模的角度来看，Silver Layer有更多类似于数据模型的第三范式。这一层可以使用类似数据库的写性能数据模型。
골드레이어(큐레이션된비즈니스레벨테이블)
일반적으로레이크하우스골드레이어에있는데이터는바로사용할수있는“프로젝트별”데이터베이스에정리됩니다。골드레이어는보고용으로사용하고,조인의개수가적고더욱비정규화된읽기최적화데이터모델을사용합니다。여기에데이터변환과데이터품질규칙의마지막레이어가적용됩니다。고객분석,제품품질분석,재고분석,고객세그먼테이션,제품추천,마케팅/영업분석등의프로젝트에서마지막표시레이어가여기에들어갑니다。레이크하우스의골드레이어에는주로金博스타일스타스키마기반데이터모델이나Inmon스타일데이터마트가들어가는사례가많습니다。
데이터가레이크하우스의각레이어를통과하는동안큐레이션되는모습을확인할수있습니다。기존RDBMS기술스택에서대량의데이터마트와仓库가레이크하우스로입력하는경우도있습니다。이제처음으로기업에서”仓库전체“에대한고급분석과머신러닝을적용할수있습니다。기존스택에서는원래아예불가능했거나비용이지나치게많이들었습니다。(예:物联网/제조데이터는결함분석과관련하여영업및마케팅데이터와연결되어있습니다。의료유전체학EMR / HL7임상데이터시장은보험료청구데이터와결합되어시기적절하고개선된환자치료분석을위한의료데이터레이크를구성합니다。)
메달리온아키텍처와데이터메시
메달리온아키텍처는데이터메시의개념과양립합니다。브론즈와실버테이블을단일업스트림테이블의데이터를사용하여여러다운스트림테이블을사용하는것처럼“일대다”방식으로함께조인할수있습니다。