客户的故事

加速未来可持续交通

10%

减少能源消耗

30%

在数据基础设施成本节约方面

背景图像

行业:交通运输

解决方案:数据驱动的环境、社会和治理前瞻性的情报

bob体育客户端下载平台用例:Lakehouse三角洲湖砖的SQL

云:AWSAzure

Databricks Lakehouse使我们能够建立一个单一的真相来源,并更容易地发现提高我们交通基础设施效率的机会,从而显著减少我们对环境的影响。”

- Rémi Bihouis, ITNOVEM, SNCF的IT合作伙伴

SNCF的使命是提供无缝、可持续的客运和货运,重点是减少碳排放,利用可再生能源为未来的交通提供动力。该组织的最终目标是到2030年(与2015年相比)将CO₂排放量减少30%,到2050年实现净零。然而,他们很难实现自己的目标,因为遗留系统无法处理列车和相关电气设备产生的大量物联网数据。数据竖井进一步减缓了协作,并影响了他们及时向业务提供洞察的能力。有了Databricks Lakehouse平台,他bob体育客户端下载们现在可以统一数据并加速业务分析和报告的数据处理。有了这些见解,SNCF可以提供列车能源使用的准确情况,并就减少消耗的方法向管理层提出建议,以实现其节能目标并降低成本。

处理大数据量和竖井操作

SNCF拥有335亿欧元的收入、27万名全球员工和3万公里的铁路网络,在这样一个规模庞大的组织中,控制成本在各个层面都至关重要。公司还致力于实现雄心勃勃的ESG目标,将可持续发展作为集团每个成员的关键优先事项。2017年,法国国家铁路公司启动了一个名为EMS(能源管理解决方案)的项目,旨在监测和优化其列车网络的能源消耗。

每天有1万至1.5万列火车在运行,法国国家铁路公司的数据系统面临着从列车传感器接收大量数据的问题,这些数据每月约有9000万行。对于组织的遗留平台,处理通常是复杂和耗时的,数据竖井意味着团队bob体育客户端下载之间的协作最小化。主要痛点包括部署和维护挑战。SNCF的云架构师发现,需要为所有数据用户(包括架构师、云操作人员、数据工程师和分析师)提供更有效的访问,并提供一个通用的解决方案,以从一系列不同来源摄取、转换和加载数据。还需要确保可以轻松扩展的健壮的数据管道。

Lakehouse改进了数据管理和性能

为了满足这些需求,SNCF在Databricks上采用了lakehouse架构,为其数据处理和BI需求提供了一个公共数据层。Lakehouse简化了SNCF的数据架构,使工程师和分析师都能访问单一数据源,从而提高了效率,降低了成本。SNCF发现迁移到Databricks Lakehouse既快速又高效。通过确保BI层无缝集成到工作流程中,简化了他们的分析架构。集中式数据层以及协作功能增强了运营效率和团队生产力。Lakehouse的实现使得数据可以通过Power BI轻松共享和分析,并且避免了复制数据或中间表示层的需要。团队之间的沟通和协作有了很大的改善,能够通过协作笔记本在同一平台上无缝协作。bob体育客户端下载

得益于简化的基于云的架构,数据存储在Delta Lake中,可以从单一统一的视图摄取、转换、丰富和公开数据。Delta Lake满足了大数据和BI需求,并消除了重复的必要性——因此提高了数据管理的效率,减少了组件的数量,降低了成本,加速了新用例的开发。数据团队也可以确信数据始终是最新的。现在数据每周更新两次,而不是每月更新一次或两次。有了单一的真相来源,数据总是最新的,不再需要复制。此外,Delta Lake为SNCF提供了对数据的直接SQL访问,而不需要中间数据库。

性能和可扩展性对SNCF的数据操作也至关重要。得益于Databricks Lakehouse简单的自动扩展和集群管理功能,SNCF的数据工程师现在可以按需启动计算集群,以处理ETL工作负载并满足业务的分析需求。

为了更美好的未来,提高列车运营效率

由于湖屋架构的实施带来了效率的提高,SNCF的数据基础设施支持其能源管理项目的成本降低了30%。与遗留系统的集成很顺利,没有中断现有流程,也没有数据质量的损失。此外,开发时间已经大大降低,特别是在运维时间方面,数据工程和云运维所需的时间减少了——在某些情况下,减少了50%。事实上,Databricks提高了部署速度,开发到接收到生产只需单击一次。

法国国家铁路公司Voyageurs的数据分析师Aymeric François表示:“法国国家铁路公司每天有1400万名乘客出行,每24小时运营的列车多达1.5万辆,因此需要一个强大且可扩展的解决方案,以处理大量数据,显著提高工作效率并加强我们现有架构的性能。”

多亏了Databricks Lakehouse,法国国家铁路公司能够精确测量每列运行列车每五分钟的能耗,数据来源于车上跟踪器传输的数据。这些信息与没有跟踪器的列车的估计能源使用数据进行汇总,详细的可视化报告可以与整个集团的关键利益相关者共享。这些数据不仅能让各个企业评估他们的能源消耗,还能确保SNCF能准确地分担成本。SNCF还能够利用这种智能识别可以减少能源浪费的因素,例如在夜间关闭列车,或修改驾驶模式。到目前为止,他们已经减少了10%的不必要的能源消耗。

Aymeric François补充说:“目前每年的能源账单约为3亿欧元,6太瓦时的消耗相当于每年一座核电站,Databricks的引入已经支持了我们的目标,即在整个业务范围内提供急需的、精确的能源利用报告。它也将帮助我们找到管理和改善我们网络使用的方法,并最终在未来几年实现我们的可持续发展目标。”
在不久的将来,SNCF的主要目标之一是引入Databricks SQL来优化代码,并促进工程师和分析师之间更有效的协作。该平台将允bob体育客户端下载许他们同时处理相同的数据,提供每日更新的报告,提高分析性能,并有助于进一步降低成本。