为了符合运输局的最新要求，美国运输部(USDOT)着手建立一个商业飞行数据库系统，以准确测量和实时报告航空系统的性能。使用Databricks Lakehouse平台，美国交通部能bob体育客户端下载够将数据与分析统一起来，使他们能够向航空仪表板提供实时信息，并能够交付ml支持的见解和决策。最终，Databricks提供的速度和效率使美国交通部能够准确预测解决航空性能变化所需的资源，以及空中交通波动对其运营和乘客体验的影响。
商业航空公司每年通常为全国数百万人提供服务。为了帮助航空公司更好地服务每一位乘客，并对航班运营进行更有价值的评估，美国交通部需要解锁航空数据，并开始开发一个实时的内部商业航空飞行数据库(CFD)。
通过利用来自SWIM(美国联邦航空管理局全系统信息管理数据库)的公共数据，如天气、飞行、航空和监视信息，美国交通部希望更准确地预测未来的航空货运模式，并向商业航空公司提供更清晰的财务预测。但是，将来自不同发行商的多个数据服务、流和组件组合起来是很复杂的，尤其是在一个传统上使用内部部署平台来管理数据的行业，而不是像Databricks这样基于云的解决方案。bob体育客户端下载
“建立一个大数据平台总是具有挑战性的，”美bob体育客户端下载国交通部数据科学家Mehdi Hashemipour说。“我们需要知道我们正在处理什么大数据，以及需要什么样的基础设施来处理它。使用各种技术设计这样一个系统是非常复杂的，因为我们知道大数据不是100%可靠的，它远不如我们的统计报告所要求的那样精确。我们需要能够控制数据的质量，并密切监控实时处理的任何数据。”
该系统还需要快速扩展——不降低性能，也不需要美国交通部数据团队进行任何繁重的工作或人工审查。
SWIM云分发服务(SCDS)是美国联邦航空管理局(FAA)基于云的服务，向FAA批准的消费者提供公开可用的FAA SWIM内容。为了获得准点航班、延误或取消航班以及每次事件影响的乘客数量的关键信息，美国交通部试图利用他们的公共SWIM数据集，如交通流管理和终端数据分布，并对所有数据进行分析，以预测与航班、机场和乘客行为相关的多种情况。
经过仔细评估，美国交通部选择了微软Azure和Databricks Lakehouse平台，因为它们能够将所有不同的数据源(包括Oracle和Sybase等本地数据库)实现民bob体育客户端下载主，并通过Apache Kafka实现实时流媒体。
Hashemipour说:“Databricks为用户提供了一种有效的方法来创建作业计划、扩展集群和运行用于分析和BI的笔记本。
通过Delta Lake, USDOT现在能够轻松地利用所有数据，并为下游分析和机器学习工作负载构建可靠和高性能的数据管道。随着批处理和流数据的自由流动，他们能够将信息提供给Tableau和Power BI等关键工具，以可视化数据分析见解，并将信息提供给机器学习模型，使他们能够更好地理解和预测交通流模式和乘客需求。
如今，美国交通部数据团队的工作效率也提高了。有了Databricks，他们所有的数据团队——从数据工程师到数据科学家和分析师——都能够更好地协作，并更高效地使用他们的数据。哈希米普尔说:“我们现在有了一种非常有效的工作方式。“创建作业计划、运行集群和笔记本，以及组织和分析来自多个来源的数据都很简单。这确实加快了我们提供新功能的能力，改善了乘客的整体体验。”
借助Databricks，美国交通部开发了一种灵活的数据环境，可以部署或扩展到任何地方，以较低的成本分析额外的SWIM或类似的流信息。通过云和Databricks自动化基础设施功能的成本效益，USDOT已经能够实现一种独特的数据转换和处理方法，与其他基于云的解决方案相比，将收集和摄取流数据的成本降低了90%。
Databricks为USDOT数据团队提供了从多个流自动化复杂数据摄取和分析所需的一切，用于下游的各种分析和机器学习工作负载。今天，他们可以在需要时在多个环境中以最小的努力整理数据，并对操作和性能做出更准确的决策。
Hashemipour说:“既然我们知道要构建什么，要自动化什么，并且可以安全有效地迭代系统基础设施，那么我们如何使用实时航空数据就没有限制了。”
随着系统的不断发展，美国交通部计划通过开放数据管道，以增加分析和机器学习工作量，进一步提高数据驱动预测和决策的准确性，并提供更有针对性的信息，帮助商业航空公司更好地为乘客服务，从而提高其能力。
既然我们知道要构建什么，要自动化什么，并且可以安全有效地迭代系统基础设施，那么我们如何使用实时航空数据就没有限制了。”
——美国交通部的数据科学家Mehdi Hashemipour
美国交通部利用Tableau将数据分析见解可视化，使他们能够更好地理解和预测交通流模式和乘客需求。
