데이터엔지니어링

데이터수집간소화

레이크하우스플랫폼에데이터를입력하고한곳에서분석，ai및스트리밍애플리케이션을지원해보세。自动加载程序는클라우드스토리지에저장되는파일을증분방식으로자동처리하므로상태정보를예약작업이나연속적작업으로관리할필요가없습니다。디렉터리에서모니터링하지않아도새로운파일을효율적으로추적하며(수십억개까지확장가능),소스데이터에서스키마를자동추론하여나중에변경이발생하면그에맞춰조정합니다。复制到명령을사용하면애널리스트가sql을통해손쉽게三角洲湖로배치파일을수집할수있습니다。

“我们发现数据工程的生产率提高了40%——将开发新想法所需的时间从几天缩短到几分钟，并提高了数据的可用性和准确性。”

- Shaun Pearce，首席技术官Gousto

자세히

자동etl처리

파일이수집되고나면분석과AI에사용할수있도록가공되지않은데이터를변환해야합니다。砖는Delta活动表(DLT)로데이터엔지니어,데이터사이언티스트,애널리스트에게강력한ETL기능을제공합니다。Dlt는간단한선언적방식으로배치또는스트리밍데이터를위한ETL및毫升파이프라인을구축하는최초의프레임워크이며,인프라관리나작업오케스트레이션,오류처리,복구와같은운영복잡성과성능최적화를자동화합니다。DLT를사용하는엔지니어는데이터를코드로처리할수있고,테스트,모니터링및문서화등의소프트웨어엔지니어링모범사례를적용하여대규모로안정적인파이프라인을배포할수있습니다。

자세히

정적워크플로오케스트레이션

砖工作流는모든데이터，분석，레이크하우스플랫폼에네이티브ai에대한완전관리형오케스트레이션서비스입니다。Delta活动表，工作对于SQL,火花印度生物技术部,노트북,毫升모델등을포함한전체수명주기에대해다양한워크로드를오케스트레이션합니다。기존레이크하우스플랫폼과긴밀히통합되므로모든클라우드에서안정적인프로덕션워크로드를생성및실행하면서도최종사용자에게간단하게심층적중앙집중형모니터링을제공합니다。

“我们的使命是改变我们为地球提供能源的方式。我们在能源领域的客户需要数据、咨询服务和研究来实现这一转变。Databricks的工作流程使我们能够快速和灵活地提供客户所需的见解。”

-数据副总裁吴燕燕Wood Mackenzie

자세히

전체적관찰기능및모니터링

레이크하우스플랫폼은모든데이터와AI수명주기에대한가시성을제공하므로,데이터엔지니어와운영팀에서실시간으로프로덕션워크플로상태를확인하고,데이터품질을관리하며,과거의트렌드를파악할수있습니다。砖工作流에서는프로덕션작업과Delta活动表파이프라인의상태와성능을추적하는데이터플로그래프및대시보드에액세스할수있습니다。이벤트로그는三角洲湖테이블로노출되어,모든각도에서성능과데이터품질(안정성지표를모니터링하고시각화할수있습니다。

차세대데이터처리엔진

砖데이터엔지니어링은Apache火花API와호환되는차세대엔진인光子을기반으로하여수천개의노드로자동확장하면서도독보적iot가격대비성능을제공합니다。Spark结构化流은배치및스트리밍처리에하나의통합된api를제공합니다。코드를변경하거나새로운기술을배우지않고도레이크하우스에서손쉽게스트리밍을도입할수있습니다。

자세히

최첨단데이터거버넌스，정성및성능

数据库에서데이터엔지니어링을사용하면레이크하우스플랫폼의기본구성요소(统一目录및三角洲湖)를활용할수있게됩니다。酸트랜잭션을통해안정성을제공하고확장가능한메타데이터를매우빠른속도로처리하는오픈소스스토리지형식인三角洲湖로가공되지않은데이터를최적화합니다。여기에统一目录를결합하면모든데이터와AI자산에세분화된거버넌스를제공할수있을뿐만아니라,모든클라우드에서일관적인데이터탐색,액세스,공유모델을적용하여거너번스방식을단순화합니다。또한、统一编目는다른조직과간단하고안전하게데이터를공유할수있는업계최초의오픈프로토콜인三角洲分享을지원합니다。