格鲁吉亚Koutrika

业务用户和数据科学家希望以更直观的方式探索数据，而不是运行嵌入在仪表板中的预定义查询。用于数据探索的自然语言界面在工业中获得了相当大的吸引力。它们的成功得益于机器学习的进步，以及能够实时处理大量数据的新型大数据技术。然而，尽管这些系统显示出了显著的进步，但由于缺乏支持的功能或应用范围狭窄，它们还没有达到在数据探索场景中支持真实用户的成熟水平，仍然是数据分析社区的“圣杯”之一。

在本次演讲中，我们将介绍一个基于Spark的智能数据助手架构，该系统将大量数据的实时数据处理和分析与自然语言的用户交互相结合，我们将讨论为什么Spark是下一代智能数据助手的合适平台。bob体育客户端下载

智能数据助手
(a)通过自然语言与用户进行更自然的互动;
(b)通过解释和建议提供积极指导;
(c)不断学习并提高其性能。要构建一个智能数据助手，有几个挑战。与搜索引擎不同，用户倾向于表达复杂的查询逻辑，并期望得到完美的结果。自然语言固有的复杂性在几个方面使事情复杂化。数据领域的复杂性要求系统通过不断分析数据和查询不断扩展其领域知识和解释新数据和用户查询的能力。

我们的智能数据助手汇集了几个组件，包括用于理解用户查询和用自然语言生成答案的自然语言处理，用于学习数据源和如何找到所请求的信息的自动知识库构建技术，以及用于查询消除歧义和领域理解的深度学习方法。