数据库레이크하우스플랫폼은데이터스트리밍을대폭단순화하여실시간분석,머신러닝,애플리케이션을하나의플랫폼에서제공합니다。
데이터팀이이미알고있는언어와도구로스트리밍데이터워크로드를구축할수있도록지원합니다。실시간데이터워크로드구축및관리와관련된프로덕션측면을자동화함으로써개발및운영을단순화합니다。스트리밍및배치데이터에단일플랫폼을사용하여데이터사일로를제거합니다。
어떻게작동하나?
스트리밍데이터수집및변환
실시간분석,ml및애플리케이션
자동화된운툴링
차세대스트림처리엔진
통합거버넌스및스토리지
스트리밍데이터수집및변환
Delta活动表을사용하여스트리밍데이터파이프라에대한데이터입력및etl을단순화합니다。데이터엔지니어링에대한간단한선언적접근법을활용하여SQL및Python등과같이이미알고있는언어와도구를팀에지원할수있습니다。제어가가능한자동새로고침설정으로한곳에서배치및스트리밍파이프라인을구축하여실행하면,시간을절약하고운영복잡성을낮출수있습니다。데이터를전송할장소가어디든,砖레이크하우스플랫폼에스트리밍데이터파이프라인을구축하면원시데이터를정리하는데시간을낭비할필요가없습니다。
“예전에는불가능했던셀프서비스방식으로플랫폼을사용하는사업부가점점늘어났습니다。砖哥伦比亚에가일으킨긍정적영향은입이닳도록말해도모자랍니다。”
- Lara Minor, Columbia Sportswear公司高级企业数据经理
실시간분석,ml및애플리케이션
스트리밍데이터를사용하면분석및AI의정확도와실천가능성을즉시개선할수있습니다。비즈니스는스트리밍데이터파이프라인의다운스트림효과로실시간인사이트를활용할수있습니다。SQL분석,毕보고,Ml모델훈련또는실시간운영애플리케이션구축을수행하는경우에도비즈니스에가장신선한데이터를제공함으로써실시간인사이트,더욱정확한예측,더욱빠른의사결정을얻어경쟁에앞설수있습니다。
저희는항상언제나가장정확한최신데이터를비즈니스파트너에게제공해야합니다。그렇지않으면사이트에대한신뢰를잃을테니까…砖레이크하우스덕분에이전에는불가능했던일이지금은매우손쉬워졌습니다。”
-吉列尔莫Roldán,아키텍처책임자,西甲科技
자동화된운툴링
스트리밍데이터파이프라인을구축하고배포하는동안砖는프로덕션에필요한다수의복잡한운영작업을자동화할수있습니다。여기에는기본인프라의자동확장,파이프라인종속성의오케스트레이션,오류처리와복,구성능최적화등이포함됩니다。增强自动定量는각각의고유한워크로드에컴퓨팅리소스를자동으로할당함으로써클러스터활용을최적화합니다。이들기능을자동데이터품질테스트및예외관리와함께사용하면운영툴링을구축및관리하는데사용하는시간을줄이고데이터에서가치를창출하는데집중할수있습니다。
차세대스트림처리엔진
Spark结构化流은砖레이크하우스플랫폼에서데이터스트림을지원하는핵심기술이며,배치및스트림처리를위한통합API를제공합니다。砖레이크하우스플랫폼은99.95%의가동시간이검증된관리형서비스로Apache Spark워크로드를실행하기에최적의장소입니다。Spark워크로드는Apache Spark API와호환되는차세대레이크하우스엔진会话列表光子으로가속화되며,수천개의노드로자동확장되고최고의비용당성능비를제공합니다。