화물운송의미래를선도

통합데이터없는발전은불가능

象J.B.亨特运输公司는북미에서가장효율적인운송네트워크를만들겠다는사명에따라,동적화물매칭을포함한자산/비자산기반운송솔루션을제공합니다。그과정에서가격,중량,위치등의세부정보를고려하여기업의운송요구사항과가용운송사의수용력을연결해줍니다。그런데어떤문제가있을까?운송업계는매우파편화되어있고，업계전체적으로운전자가약350만명입니다。이정도로파편화된상태를고려한매칭시스템을개선하려면실시간데이터와의미있는분석이필요합니다。

象J.B.亨特가이목표를달성하기위해서는실시간의사결정에는사용성에제한이있었던기존엔터프라이즈데이터웨어하우스(仓库)플랫폼에저장된데이터의가치를활용할수있어야했습니다。이시스템은움직이는수십만개의화물에서15분마다발생하는위치핑으로부터생성되는방대한데이터를처리하고저장하는작업을감당하지못했습니다。또한적절한사용자가민감한데이터에액세스하도록하는엄격한데이터보안도필요했습니다。마지막으로,일반적으로회사소유가아닌트럭과컨테이너의物联网센서에서생성되는데이터스트림을지원하는기능도필요했습니다。이런기능이없었기때문에머신러닝(ML)과AI를사용한원격측정사용사례를구현할수없었습니다。

확장가능한개방적통합레이크하우스아키텍처구축

象J.B.亨特는谷歌云및砖레이크하우스와협력하여모든데이터형식을캡처하고전사적으로데이터엔지니어,과학자등에게실시간분석을지원할수있는통합BI및AI플랫폼을구현하기로했습니다。象J.B.亨特는砖를사용하여J.B.亨特360°®를위한상호운용성이있는개방적고속데이터레이크하우스플랫폼을성공적으로구현하였고,그덕분에고객에게타의추종을불허하는운송서비스를제공하여북미에서의시장지위를지킬수있었습니다。

象J.B.亨特는三角洲湖를기반으로조직내에서간편하게액세스할수있도록모든데이터를한곳에모을수있었을뿐만아니라규모와관계없이데이터파이프라인스트리밍의성능과안정성을보장할수있었습니다。테라바이트규모의기존데이터를플랫폼으로옮겼고,三角洲湖의개방적스토리지레이어는데이터팀에게효율성과이동성을제공했습니다。象J.B.亨特는三角洲湖로실시간스트리밍함으로써더욱큰규모의완전한데이터세트를분석할수있었고,그어느때보다도빠르게분석및毫升을실행가능했습니다。데이터사이언스팀은MLflow를사용하여코드와실험을재현하고데이터사이언티스트가재사용하도록할수있게되었습니다。象J.B.亨特의엔지니어링및기술부문이사인乔尖晶石은”우리회사의다양한운영부문에서어떤클라우드또는도구세트를사용하는지와관계없이빠르게사용사례를배포하는유연성을제공하는플랫폼을기반으로삼는것이중요했습니다。”라고말했습니다。

砖레이크하우스와함께자동화된데이터거버넌스플랫폼인Immuta도사용합니다。보안의관점에서Immuta는기존仓库의보안기능을확장하는데이터보안을한층더강화해주었습니다。이제데이터거버넌스프로세스를자동화하여적절한사용자가중요한비즈니스결정을내리는데필요한데이터에액세스하도록할수있습니다。이는열수준의데이터마스킹을적용한덕분입니다。기존의역할기반액세스제어이상으로세분화된보안과전역및로컬보안정책을설정하는기능,누가어떤데이터에액세스했는지완전한감사가가능한기능을사용하고있습니다。

象J.B.亨特의엔지니어링및기술부문선임관리자,蒂娜《은”두솔루션을결합하고나서민감한데이터에액세스할걱정없이사용자가보고에액세스하는데필요한수준의유연한데이터보안을갖출수있었습니다。”라고설명했습니다。

운효율을제공하는단일정보출처

협업의측면에서砖는J.B.亨特의데이터팀이전체적으로데이터사이언스의생산성을향상하게하는데성공했습니다。엔지니어링및기술부문부사장,道格拉斯Mettenburg는”砖를사용하고나서모든것이같은리포지토리에저장되고,같은언어,같은버전으로남게되었습니다。바로그게핵심입니다。라고설명했습니다。

象J.B.亨特내에서砖가성공을거둔이후로,이는엄청난성과향상으로나타났습니다。예를들어4시간이내에수천개의머신러닝모델을훈련하고예전보다99.8%빠르게운송업체에게화물관련권고사항을전달할수있게되었습니다。Doug는”최종적으로砖가J.B.亨特의투명성을보장하는소스가되었습니다。데이터와기술이회사전체에제공할수있는실질적가치를보여줍니다。”