三角洲湖

데이터레이크
정성，과성능

三角洲湖란
무엇가?

三角洲湖는데이터레이크에서안정성,보안과성능을제공하는오픈형식스토리지계층입니다。스트리밍작업과배치작업둘다에적합합니다。三角洲湖는데이터사일로를구조적,반구조적,비구조적데이터를모두담은단하나의홈으로대체하므로비용효율적이고고도로확장가능한레이크하우스의기본토대가되어줍니다。

三角洲湖아키텍처

양질의정적데이터

실시간스트림까지포함해데이터전체에믿을수있는단일정보출처(单一来源的真理,SSOT)를제공하므로데이터팀이항상최신데이터를다루도록보장됩니다。三角洲湖는酸트랜잭션과스키마적용을지원하여기존데이터레이크에미흡했던안정성을제공합니다。이때문에전사적으로믿을수있는데이터인사이트를확장하고,데이터레이크에서직접분석및여타데이터프로젝트를실행하면서도인사이트도출시간을최대50배나단축할수있습니다。

전한오픈데이터공유

三角洲分享은안전한데이터공유를위한업계최초의오픈프로토콜로,데이터위치에구애받지않고다른조직과간편하게데이터를공유할수있게해줍니다。统一目录와기본적으로통합되기때문에전사적으로공유데이터를중앙에서관리하고감사할수있습니다。이렇게하면공급자,협력업체와신뢰를바탕으로데이터자산을공유할수있어비즈니스조율에도움이되고,동시에보안과규정준수요구사항에도부합할수있습니다。주요툴,플랫폼과통합되므로사용자가선택한툴에서공유데이터를시각화,쿼리,보강하고관리할수있습니다。

Delta Sharing프로토콜

三角洲湖초고속성능막대형차트

초고속성능

Apache火花™三角洲湖는기반으로,뛰어난확장성과속도를제공합니다。또한인덱싱과같은성능기능을염두에두고최적화하였기때문에三角洲湖를이용해본고객은최대48%까지etl워크로드실행속도가빨라지는효과를체험했습니다。

오픈，애자일

三角洲湖내모든데이터는오픈Apache铺형식으로저장되므로,호환되는리더라면무엇이든종류와관계없이데이터를읽을수있습니다。API도오픈형식이고Apache Spark와호환됩니다。砖의三角洲湖를이용하면광범위한오픈소스에코시스템으로액세스할수있으므로특정벤더의데이터포멧에락인(锁定)되는문제를방지할수있습니다。

Delta Lake + Linux基金会로고

자동화되고신뢰할수있는
데이터엔지니어링

Delta Live Table과함께라면데이터엔지니어링이간단해집니다。三角洲湖에서최신고품질데이터에적합한데이터파이프라인을빌드하여관리할손쉬운방법을소개합니다。이테이블은선언적파이프라인개발,데이터안정성개선및클라우드규모프로덕션작업을통해레이크하우스의기초를구축하도록도와ETL개발과관리를간소화하여데이터엔지니어링팀에큰도움이되어줍니다。

대규모보및거버넌스

三角洲湖는데이터거버넌스,기능에세분화된액세스관리를활용하여리스크를줄입니다。이것은보통데이터레이크로는불가능한일입니다。
데이터레이크에보관된데이터를빠르고정확하게업데이트하여GDPR과같은규제를준수할수있고,감사로깅을통해개선된데이터거버넌스를유지관리할수있습니다。이러한기능은数据库에서레이크하우스용최초의멀티클라우드데이터카탈로그日志库统一目录의일부분으로기본통합및강화됩니다。

사용 사례

기존데이터를활용한bi

데이터레이크에서직접비즈니스워크로드를실행하여비즈니스에즉각적인인사이트를얻을수있도록최신실시간데이터를데이터애널리스트가쿼리할수있는상태로,바로이용할수있게제공합니다。三角洲湖를사용하면데이터레이크수준의비용으로데이터웨어하우징성능을제공하는멀티클라우드레이크하우스아키텍처를운영해기존클라우드데이터웨어하우스대비최대6배더나은가격/성능으로SQL워크로드를처리할수있습니다。

자세히알아보기→

배치와스트리밍통합

간결한단일아키텍처에서배치와스트리밍작업을모두실행함으로써복잡하고중복된시스템과운상의문제를피할수있습니다。三角洲湖의경우테이블하나가배치테이블과스트리밍소스및싱크를겸합니다。스트리밍데이터수집,과거백필(回填))배치처리와대화형쿼리모두바로사용할수있으며火花结构化流과직접통합됩니다。

규제구사항에부합

三角洲湖는형식이잘못된데이터수집문제를없애고규제준수를위한데이터삭제의어려움을완화하며변경데이터캡처를위한데이터수정문제도없애줍니다。三角洲湖는데이터레이크에서酸트랜잭션을지원하여모든작업이완전히성공하거나나중에다시시도할수있게완전히중단되도록보장합니다。이를위해데이터파이프라을새로만들필도없습니다。또한三角洲湖는데이터레이크에과거트랜잭션을모두기록하므로GDPR과CCPA등의규정준수표준에안정적으로부합하기위해데이터의기존버전에액세스하여이를활용하기도간편합니다。