跳到主要内容
公司博客上

你会DIY你的AI吗?你可能在安全方面失败了。

2018年11月5日 公司博客上

分享这篇文章

这是关于Databricks安全系列文章的第2篇。我的同事大卫·库克(我们的首席信息安全官)阐述了Databricks的安全策略博客# 1。在这篇博客中,我将详细介绍我们的平台。bob体育客户端下载

DIY平bob体育客户端下载台:缺乏安全凝聚力

如今,许多公司都在使用由各种开源工具和技术组成的本土DIY大数据和人工智能平台。bob体育客户端下载这些拼凑的平台使数据科学家与数据bob体育客户端下载工程师相互对立,并使整个组织面临安全漏洞的风险。一方面,数据科学家需要最新的人工智能工具,并优先考虑速度和生产力。他们认为IT和安全是缓慢而不灵活的。另一方面,数据工程师被鼓励在安全的、可支持的、生产就绪的平台上维护原始数据。bob体育客户端下载此外,这些团队中的每一个都需要他们自己的工具集来交付他们的工作需求。这些工具经常是脱节的,数据工作流不能端到端跟踪。这导致数据工程和数据科学团队在孤岛中工作,面临以下挑战:

从生产力的角度来看:

  • 有时,数据通过外围安全方法锁定在本地,这使得扩展和弹性变得困难,最终阻碍了创新。
  • 当团队无法协作,使用孤立的工具并构建脱节的数据工作流时,创新和推进人工智能项目几乎是不可能的。

从安全和监管的角度来看:

  • 快速发展的开源工具集被拼凑在一起。bob下载地址它们没有经过修补、测试或良好的维护——由善意的内部人员制造漏洞和错误的可能性很高。
  • 不同的系统具有不同的安全范例,这使得复制策略并确保从一个工具集到另一个工具集的安全保真性成为一项挑战。
  • 缺乏单一的工作空间使得在控制谁有权访问哪些内容的同时,将正确的数据提供给正确的人变得更加困难。
图1:DIY AI平台——缺乏安全bob体育客户端下载上的凝聚力

为了克服这些障碍,数据科学家最终会聘请数据工程师进入他们的团队,数据工程师也会这样做,从而破坏预算并创建重复的功能。最后,你的团队不能一起工作,没有责任,因为创造了一个站不住脚的局面而互相指责。这可能会导致数据泄露或监管违规的严重曝光,使公司面临他们甚至可能没有考虑到的风险。我相信,有比DIY AI更好的方式来满足数据科学团队的需求。

bob体育亚洲版以安全为核心的统一分析平台bob体育客户端下载

Databricks将数据工程和数据科学团队聚集在一个统一的分析平台上,为数据科学家提供他们想要的敏捷性,同时为数据工程师提供一致、安全和可靠的bob体育亚洲版工具集。bob体育客户端下载这种统一是关键。与DIY解决方案不同,我们在整个数据工作流中提供一致的安全模型。我们使您能够为您的数据框架设置一次安全性,然后它可以用于您的数据处理以及您的ML和AI需求。

击倒孤岛,同时保持数据安全

我们的统bob体育亚洲版一分析平台为您提供所bob体育客户端下载需的安全性,同时使团队能够协同工作以推动创新。我们的方法的核心是:

1.安全性作为核心设计原则-Databricks是一个云原生平台,从第一天起就被设计为bob体育客户端下载一流公民的安全

  • 云原生使用安全最佳实践-人们经常说,他们将重要数据保存在本地是为了保证数据的安全。这是一个危险的用词不当。内部部署的安全性和云中的安全性一样困难。除了弹性和随用随付的优势外,Databricks还提供全面管理和监控的安全产品,利用世界领先的安全专家的最佳云实践。我们有内置的控制,以尽量减少人为错误,包括隔离数据工作负载和控制访问通过特定的vpc / vnet, IAM安全组,同时加密数据传输和静态与细粒度访问控制。
  • 设计不触及您的数据-数据是公司的业务差异化因素。我们希望确保您对数据拥有最大的权力,以产生业务价值。由于数据保存在您的云帐户中,我们为您提供基础设施并对其进行管理,以确保您的安全,并从数据中获得最大价值。使用独立的数据和控制平面,数据和工作负载驻留在您的云帐户中,Databricks无法直接访问它。
  • 与您现有的流程集成-作为一个与熟悉的单点登录产品、数bob体育客户端下载据仓库和BI工具安全集成的单一平台,Databricks可以轻松集成到您现有的环境和流程中。
图2:使用分离的数据和控制平面尽量减少人为错误

2.一致、可靠和兼容的工作流数据科学家不断寻找具有最新模型的最新软件。即使是0.5%的ML模型改进也可能影响数百万美元的收入。DIY需要团队集成自己的数据工程工具(Spark, Hive等)和数据科学工具(SparkML, Tensorflow, Keras等)。Databricks通过提供具有流线型工作流程的单一统一平台为您完成了这项工作。bob体育客户端下载您不再需要担心互操作性问题。补丁、配置都是精心设计的,整个系统由世界领先的专家进行渗透测试和监控。这使得it和安全团队可以轻松地维护整个工作流程的安全性。

3.安全和透明的协作- Databricks允许数据工程和数据科学家团队在一个共享的工作空间中一起工作。Databricks笔记本可以由多个团队共享,具有评论和版本控制功能,就像谷歌文档一样。这不仅增强了协作,而且是控制、跟踪和审计用户访问数据的单一界面。细粒度访问控制使您不仅可以在存储桶、文件级别管理数据,还可以在行和列级别管理数据。有了这种级别的控制,您就可以让很多人访问数据库,但阻止特定的敏感列,如信用卡号和社会保险号。

图3:统一分析、一致bob体育亚洲版和兼容的工作流,以及共享的工作空间

结论

当充分发挥其潜力时,数据可以成为公司真正的差异化因素。我们希望授权您的团队使用您首选的AI框架和库来生成业务价值,同时确保数据安全性和法规遵从性。

如果您目前正在应对DIY AI带来的挑战,我们可以帮助您识别当前数据分析设置中的安全漏洞,并向您展示如何使用单一平台解决方案更有效地解决这些问题。bob体育客户端下载

试一试!

免费试用Databricks
看到所有公司博客上的帖子