三角洲湖란
무엇가?
三角洲湖는데이터레이크에서안정성,보안과성능을제공하는오픈형식스토리지계층입니다。스트리밍작업과배치작업둘다에적합합니다。三角洲湖는데이터사일로를구조적,반구조적,비구조적데이터를모두담은단하나의홈으로대체하므로비용효율적이고고도로확장가능한레이크하우스의기본토대가되어줍니다。
양질의정적데이터
전한오픈데이터공유
초고속성능
Apache火花™三角洲湖는기반으로,뛰어난확장성과속도를제공합니다。또한인덱싱과같은성능기능을염두에두고최적화하였기때문에三角洲湖를이용해본고객은최대48%까지etl워크로드실행속도가빨라지는효과를체험했습니다。
오픈,애자일
三角洲湖내모든데이터는오픈Apache铺형식으로저장되므로,호환되는리더라면무엇이든종류와관계없이데이터를읽을수있습니다。API도오픈형식이고Apache Spark와호환됩니다。砖의三角洲湖를이용하면광범위한오픈소스에코시스템으로액세스할수있으므로특정벤더의데이터포멧에락인(锁定)되는문제를방지할수있습니다。
자동화되고신뢰할수있는
데이터엔지니어링
Delta Live Table과함께라면데이터엔지니어링이간단해집니다。三角洲湖에서최신고품질데이터에적합한데이터파이프라인을빌드하여관리할손쉬운방법을소개합니다。이테이블은선언적파이프라인개발,데이터안정성개선및클라우드규모프로덕션작업을통해레이크하우스의기초를구축하도록도와ETL개발과관리를간소화하여데이터엔지니어링팀에큰도움이되어줍니다。
대규모보및거버넌스
三角洲湖는데이터거버넌스,기능에세분화된액세스관리를활용하여리스크를줄입니다。이것은보통데이터레이크로는불가능한일입니다。
데이터레이크에보관된데이터를빠르고정확하게업데이트하여GDPR과같은규제를준수할수있고,감사로깅을통해개선된데이터거버넌스를유지관리할수있습니다。이러한기능은数据库에서레이크하우스용최초의멀티클라우드데이터카탈로그日志库统一目录의일부분으로기본통합및강화됩니다。
데이터레이크에보관된데이터를빠르고정확하게업데이트하여GDPR과같은규제를준수할수있고,감사로깅을통해개선된데이터거버넌스를유지관리할수있습니다。이러한기능은数据库에서레이크하우스용최초의멀티클라우드데이터카탈로그日志库统一目录의일부분으로기본통합및강화됩니다。
사용 사례
기존데이터를활용한bi
데이터레이크에서직접비즈니스워크로드를실행하여비즈니스에즉각적인인사이트를얻을수있도록최신실시간데이터를데이터애널리스트가쿼리할수있는상태로,바로이용할수있게제공합니다。三角洲湖를사용하면데이터레이크수준의비용으로데이터웨어하우징성능을제공하는멀티클라우드레이크하우스아키텍처를운영해기존클라우드데이터웨어하우스대비최대6배더나은가격/성능으로SQL워크로드를처리할수있습니다。
배치와스트리밍통합
간결한단일아키텍처에서배치와스트리밍작업을모두실행함으로써복잡하고중복된시스템과운상의문제를피할수있습니다。三角洲湖의경우테이블하나가배치테이블과스트리밍소스및싱크를겸합니다。스트리밍데이터수집,과거백필(回填))배치처리와대화형쿼리모두바로사용할수있으며火花结构化流과직접통합됩니다。
규제구사항에부합
三角洲湖는형식이잘못된데이터수집문제를없애고규제준수를위한데이터삭제의어려움을완화하며변경데이터캡처를위한데이터수정문제도없애줍니다。三角洲湖는데이터레이크에서酸트랜잭션을지원하여모든작업이완전히성공하거나나중에다시시도할수있게완전히중단되도록보장합니다。이를위해데이터파이프라을새로만들필도없습니다。또한三角洲湖는데이터레이크에과거트랜잭션을모두기록하므로GDPR과CCPA등의규정준수표준에안정적으로부합하기위해데이터의기존버전에액세스하여이를활용하기도간편합니다。
데이터수집네트워크
네이티브커넥터로각종애플리케이션,데이터베이스와파일스토리지에서빠르고안정적으로데이터를손쉽게수집해三角洲湖에보관합니다。
고객
“砖는의료서비스부문의새로운수요에부합하기위해꼭필요했던분석과운영성개선은물론출시시간단축이라는효과까지달성했습니다。”
- Healthdirect Australia의首席架构师Peter James
“砖와三角洲湖를활용하면서이미대규모로데이터를민주화(民主化)할수있게되었고,동시에프로덕션워크로드실행비용을60%줄여서수백만달러를절감하는효과를거두었습니다。”
- YipitData최고기술책임자(CTO) Steve Pulec
“Delta Lake는ACID기능을제공해데이터파이프라운을간소화하기
때문에파이프라정성과데이터일관성이좋아집니다。동시에캐싱이나자동인덱싱과같은기능을이용하면데이터에효율적으로,성능수준에맞춰액세스할수있습니다。”
——哥伦比亚运动装선임엔터프라이즈데이터관리자劳拉较小
“三角洲湖덕분에데이터파이프라인관리에간소한방식으로접근할수있게되었습니다。이덕분에운영비용은절감하면서동시에다운스트림분석과데이터사이언스의인사이트도출시간(time-to-insight)은짧아졌어요。”
- Viacom18디지털변혁및기술사업부AVP(助理副总裁)Parijat Dey