음성，데이터및ai로홈엔터테먼트혁신

수백만의고객을개인화된경험에연결해주는글로벌기술미디어기업인Comcast는방대한데이터,취약한데이터파이프라인,데이터사이언스협업부족으로인해어려움을겪었습니다。三角洲湖및MLflow를활용하는砖를사용한덕분에페타바이트규모데이터를처리하는성능을갖춘데이터파이프라인을구축하고수백개모델의수명주기를관리하여,음성인식과머신러닝을적용한매우혁신적이고독창적이면서도수상경력에빛나는시청환경을구현할수있었습니다。

데이터및ml구사항에못미치는프라

특정프로그램에서고객의음성요청에즉시답하면서도수십억개의개별상호작용을실천가능한인사이트로바꾸는작업은Comcast它인프라와데이터분석,데이터사이언스팀에부담을주었습니다。설상가상으로클라우드,온프레미스등에흩어진서로다른범위의환경에,또경우에따라서는기기에직접모델을배포해야했습니다。

• 방대한데이터:엔터테인먼트시스템에서생성되는수십억건의이벤트와2000만건이상의음성명령이쌓임에따라세션화해서분석해야할데이터가페타바이트규모를넘어섰습니다。
• 취약한파이프라인:복잡한데이터파이프라인은수시로장애가일어났고복구가어려웠습니다。작은파일들을관리하기어려워다운스트림머신러닝에데이터를입력하는속도가느려졌습니다。
• 협업부족:서로다른지역에서서로다른스크립팅언어로작업하는데이터사이언티스트들은코드를공유하고재사용하기가어려웠습니다。
• 毫升모델관리:수백개의모델을개발,훈련및배포하는작업은대체로수동으로이루어져서느린데다복제가힘들어확장이어려웠습니다。
• 개발과배포간의마찰:개발팀에서는최신도구와모델을사용하고싶어하지만,운영팀에서는검증된인프라에배포하고싶어했습니다。