跳到主要内容
工程的博客

按需网络研讨会:公共部门的地理空间分析和人工智能

分享这篇文章

我们最近举办了一场网络研讨会公共部门的地理空间分析和人工智能-在此期间,我们介绍了公共部门的顶级地理空间分析用例,并现场演示了如何在出售的地理空间数据上构建可扩展的分析和机器学习管道。

公共部门网络广播中的地理空间分析和人工智能

地理空间分析网络研讨会概述

今天,政府机构可以获得大量的地理空间信息,这些信息可以进行分析,以提供广泛的决策和决策预测分析从运输规划到灾难恢复和人口健康管理的用例。

虽然许多机构已经投资于产生大量地理空间数据的地理信息系统,但很少有适当的技术和技术专长来准备这些大型、复杂的数据集进行分析,这抑制了他们构建人工智能应用程序的能力。

在本次网络研讨会中,我们回顾了:

  • 公共部门的顶级地理空间大数据使用案例,涉及公共安全、国防、基础设施管理、卫生服务、预防欺诈等
  • 使用遗留架构分析大量地理空间数据的挑战
  • 如何使用Databricks和开源工具来克服云计算中的这些挑战
  • 在网络研讨会上分享的技术演示和笔记本:
    • xView图像中的对象检测:为非数据科学家角色连接使用深度学习和基于sql的可访问分析的复杂对象检测。下载相关笔记本:工程数据而且分析
    • 处理大型NYC出租车接送向量:优化地理空间谓词操作,并将原始接送坐标与其对应的NYC社区边界相关联,以方便空间分析。下载相关笔记本

如果你想免费访问统一数据分析平台bob体育客户端下载试一下我们的笔记本,你可以访问免费试用Databricks

在研讨会的最后,我们进行了问答环节。以下是问题和答案:

问:我们处理大量的流动地理空间数据。您建议如何处理这些用于下游分析的实时数据流?

答:这可以分解为(1)处理大量流数据和(2)执行下游地理空间分析。Databricks使处理和存储大量流数据变得简单、可靠和高效。请参考Databricks上的Delta Lake而且三角洲湖简介为了一些额外的材料。第二部分构建在处理阶段做出的存储和模式决策之上。空间分析基本上是通过使用Spark SQL, DataFrames和DatasetS支持对来自各种格式和模式的数据进行转换和操作。Databricks提供各种运行时,例如机器学习运行时而且Databricks运行时与Conda它为CPU和GPU集群预先捆绑了流行的库,包括Tensorflow、Horovod、PyTorch、Scikit-Learn和Anaconda,以促进常见的数据工程和数据科学需求。客户也可以自己管理容器为任何分析定制环境,包括特定的空间需求。请参考以下问题中列出的流行空间框架FINRA客户案例研究

问:在公共部门使用的一些比较流行的空间框架是什么?

答:为地理空间分析扩展Apache Spark的流行框架包括GeoMesaGeoTrellisRasterframes,GeoSpark.此外,Databricks还可以方便地使用单节点库,例如GeoPandas有条理的地理空间数据抽象库(GDAL),Java拓扑服务(JTS).通过封装函数调用用户定义函数(udf)这些库还可以在分布式上下文中进一步利用。udf提供了一种简单的方法,可以用最小的代码更改来扩展现有的工作负载。

问:我的资料存放在哪里? Databricks如何确保资料安全?

答:您的数据存储在您自己的云数据湖中,例如AWS S3Azure Blob存储.然而,由于对所摄入的数据缺乏控制,数据湖经常存在数据质量问题。Delta Lake为数据湖添加了存储层,以管理数据质量,确保数据湖只包含面向消费者的高质量数据。Delta Lake还提供了ACID事务等功能,以确保数据的可序列化性和审计历史的完整性,允许您维护对数据所做的每个更改的详细日志记录,为遵从性、审计和复制提供完整的更改历史。此外,Delta Lake旨在解决各种删除权倡议,如通用数据保护条例(GDPR)和最近的加州消费者隐私法(CCPA),参考让您的数据湖CCPA符合统一的数据和分析方法.作为我们的一部分企业云服务三角洲湖与其他湖泊紧密相连Databricks企业安全特性。

额外的地理空间分析资源

免费试用Databricks
看到所有工程的博客的帖子