고객 사례

데이터및ai를사용한환자건강중심치료

6배

데이터처리개선

20.

20분내로100만레코드입력

배경이미지

工业:医疗保健

솔루션:임상의료데이터레이크

플랫폼사용사례:三角洲湖데이터사이언스머신 러닝ETL

클라우드:AWS

“砖는의료서비스부문의새로운수요에대응하는데필요한분석과운영능력을개선한것은물론이고,출시기간을단축하는효과도제공했습니다。”

——Peter James,澳大利亚健康直接公司首席架构师

NHSD(国家卫生服务目录)를이끄는Healthdirect는시간중심적활동기반의료트랜잭션과관련된테라바이트규모의데이터를활용하여의료서비스,상품,지원을개선하는데집중합니다。거버넌스요구사항을준수하고,팀간사일로와확장이어려운기존시스템의문제를해결하기위해砖로옮겨온이후로,다운스트림머신러닝의데이터처리를향상하는동시에HIPAA요건을준수하도록데이터보안을개선할수있었습니다。

데이터품질및거버넌스,사일로및확장문제

Healthdirect澳大利亚는규제로인한압력때문에전반적인데이터품질을개선하고그위에거버넌스를한층강화하기로했습니다。하지만데이터스토리지와액세스에서문제가발생했습니다。데이터사일로가여러개있어서다운스트림분석용데이터를효율적으로준비하는데장애물이되었습니다。이렇게서로분산된데이터소스는데이터읽기의일관성에향을미쳤습니다。스택내의여러시스템에서데이터가동기화되지않는경우가많았습니다。데이터품질이낮으니,오류율과처리비효율이높아졌습니다。이렇게파편화된아키텍처는상당한운영간접비를발생시키고,환자에대해종합적으로확인하는능력을제한했습니다。

게다가고객수요가변화함에따라예약,진료예약,가격,전자의료트랜잭션활동등의데이터포인트를10억개이상입력해야했고,모두합치면용량이1 tb이상으로추정되었습니다。

저희는데이터문제가많았습니다。전혀효율적으로처리할수가없었죠。배치오버런이발생하기시작했습니다。의료데이터와서비스를제공하는데24시간은최적의시간이아니라는생각이들었습니다。”澳大利亚卫生直接의수석아키텍트인彼得·詹姆斯는이렇게설명합니다。

마침내Healthdirect는전체적프로세스와기술스택을현대화하여비즈니스를적절히지원해야한다는것을깨달았습니다。

数据库및三角洲湖로분석현대화

砖는Healthdirect澳大利亚에데이터엔지니어링을단순화하고데이터사이언스혁신을가속화하는통합분석플랫폼을제공합니다。이노트북환경은매번맞춤설정된작업을실행하기보다는통제된방식으로내용을변경할수있도록지원합니다。

James는“Databricks는우리팀과데이터운에큰도움이되었습니다。애널리스트들이데이터운팀과직접협력할수있게되었죠。동일한시간내에서로협력할수있게되었고,원래걸리던시간보다반이나단축되었습니다。이들이함께일하게되자서비스를제공하는속도가엄청나게빨라졌습니다。라고말했습니다。

Healthdirect는三角洲湖를사용하여降落,原始,分期,黄金라는논리적데이터영역을만들었습니다。三角洲湖表의이영역내에서구조적또는비구적상태의데이터를”있는그대로”저장합니다。여기에서메타데이터중심적스키마를사용하고,해당테이블내의중첩된구조에데이터를보관합니다。이렇게하면모든소스에서데이터를일관적으로처리할수있으며,데이터를가져오는다양한애플리케이션에대한데이터매핑을단순화할수있습니다。

한편、结构流을통해모든ETL배치작업을여러애플리케이션에일관적으로제공할수있는스트리밍ETL작업으로변환했습니다。결과적으로,火花结构化流,三角洲湖,砖통합데이터분석플랫폼을도입한이후로아키텍처가상당히개선되어,성능은향상되고운영간접비는절감되었으며,프로세스효율은높아졌습니다。

데이터파이프라처리속도단축으로환자중심의료강화

砖가제공하는성능향상효과와三角洲湖를통한데이터안정성향상덕분에는Healthdirect澳大利亚퍼지이름매치알고리즘의정확도가수동확인80%시에도못미치던것이수동개입없이도95%까지향상되었습니다。

三角洲湖및结构化流을통해처리속도도향상되어매30000개월이상의자동업데이트를처리할수있게되었습니다。砖를사용하기전에는수작업이많고신뢰할수없던배치작업을사용하면같은수의업데이트를6개월에걸쳐처리해야했습니다。즉,데이터처리속도가6배나빨라진것입니다。

,또한데이터로드속도를1분당100만레코드로향상하였으며,20분내로2000만건의레코드데이터를로딩할수있습니다。砖를도입하기전에는똑같이100만건의트랜잭션을처리하는데24시간이상이걸려서애널리스트가결과에대해신속히결정을내리기어려웠습니다。

마지막으로규정준수건으로해중성이큰데이터보도매우개선되었습니다。Databricks는HIPAA와같은。Healthdirect는砖를통해호주의보안요구사항을준수할수있었습니다。그덕분에상당한비용을절감하였고,역할변경,메타데이터수준보안변경사항,데이터유출등을모니터링하여지속적인데이터보증을제공하게되었습니다。

詹姆斯는“砖는의료서비스부문의새로운수요에대응하는데필요한분석과운영능력을개선한것은물론이고,출시기간을단축하는효과도제공했습니다。”라고말했습니다。

澳大利亚Healthdirect의전망은밝습니다。Healthdirect澳大利亚는砖의도움을받아서데이터와분석의가치를입증하고비즈니스비전에어떤영향을미치는지보여주었습니다。데이터에투명하게액세스하여잘문서화된리니지와품질을향상하고,다양한비즈니스및애널리스트그룹에대한참여가늘면서,모든사람을대상으로의료서비스를개선하겠다는목표에따라더욱쉽고빠르게데이터에서가치를창출할수있게되었습니다。