马克汉密尔顿

随着人工智能变得越来越普遍和可扩展，我们的目标是应用这些技术来帮助改善地球。本次演讲将探讨微软对Apache Spark和机器学习社区的最新贡献，特别关注人工智能对环境和社会的影响。特别是，我们将分享如何使用Azure Databricks, Azure机器学习和Microsoft ML for Apache Spark来探索大都会艺术博物馆5000多年的人类创造力，以及微软如何使用Apache Spark来帮助保护濒危物种。

我们介绍了基于Spark的Azure认知服务，这是一个简单易用的扩展，将SparkML库扩展到所有Azure认知服务。这种集成允许Spark用户将云智能直接嵌入到他们的Spark计算中，从而在Spark上实现新一代智能应用程序。此外，我们还展示了通过我们新的容器化认知服务，可以将云智能直接嵌入到Spark集群中，以实现超低延迟、本地和离线应用程序。

我们将展示如何使用我们的Integration，将这些认知服务与其他服务、SQL计算和深度网络组合在一起，以创建复杂而智能的异构应用程序。此外，我们还展示了如何使用Spark Services将这些组合重新部署为rest式服务。我们还将探讨这些贡献在Spark上利用HTTP的架构，Spark是Spark与广泛使用的超文本传输协议(Hypertext Transfer Protocol, HTTP)之间的新颖集成。这个库可以将任何框架集成到能够通过HTTP进行通信的Spark生态系统中。最后，我们演示了如何使用这些服务来创建一大类智能应用程序，如自定义搜索引擎、实时面部识别系统和无监督对象检测器。

我们提出了Spark服务，这是一种新的Spark计算模式，使用户能够将任何Spark计算部署为由任何Spark集群支持的亚毫秒延迟web服务。与会者将探索Spark服务的架构，并了解如何在各种集群类型(如Azure Databricks、Kubernetes和Spark Standalone)上部署服务。我们还将展示其简单而强大的API，用于RESTful SparkSQL, SparkML和深度网络部署，与批处理和流工作负载相同的API。

此外，我们将探索“双重架构”:Spark上的HTTP。这种架构将任何spark集群转换为分布式web客户端，使用熟悉的、可管道化的SparkML API。这两个贡献提供了基本的spark通信原语，可以将任何计算框架集成和部署到spark生态系统中。除了ETL和ML平台之外，我们还将探讨微软是如何利用Spark作为容错微服务编排引擎的。bob体育客户端下载并将介绍微软正在进行的认知服务组合工作中的两个例子，以及用于雪豹识别的无监督对象检测。

我们提出了一种新的深度学习方法来创建一个鲁棒的目标检测网络，用于红外，基于无人机的偷猎者识别系统。更具体地说，我们已经使用微软AirSim在非洲大草原上生成了数千小时的模拟无人机镜头。然后，我们使用深度域适应将我们的模拟转换为与真实红外无人机镜头对抗难以区分的形式。这就产生了一个可编程的数据生成器，可以用来显著提高算法的准确性，而不需要昂贵的人工策划注释。此外，我们扩展了这项工作，并为AirSim提供了一个真实感扩展，自动化了计算机图形工作所需的许多领域特定专业知识，并能够生成无量的真实感数据，用于强化学习和自动驾驶车辆。

会话标签:#SAISDD2

我们在Spark上提出了HTTP，这是Spark与广泛使用的超文本传输协议(HTTP)之间的一种新颖的集成。该库可用于将任何框架集成到能够通过HTTP进行通信的Spark生态系统中。此外，Spark上的HTTP支持分布式和容错的微服务架构，这些架构可以与Spark的动态分配和流功能进行交互。我们以这项工作为基础，发布了一个用于广泛的Microsoft Cognitive Services的习惯spark绑定库。这些绑定允许用户轻松地添加“任何”认知服务，作为他们现有的Spark和SparkML机器学习管道的一部分。最后，我们演示了如何使用这些服务来创建大量自定义图像分类和对象检测系统，这些系统可以在不需要人类标记的训练示例的情况下进行学习。我们用自动雪豹检测系统展示了这些新版本的强大功能。