数据平台在业务转型中的作用bob体育客户端下载

阅读面试

演讲者1:
欢迎来到Databricks为您带来的数据和人工智能冠军。在每一期节目中，我们向数据和人工智能的捍卫者致敬，他们正在改变现状。这些“特立独行者”正在重新思考数据和人工智能如何增强人类体验。我们将深入了解他们的挑战，庆祝他们的成功，同时更深入地了解这些领导人。

克里斯·达:
欢迎来到数据和人工智能的冠军。我是主持人，克里斯·达戈斯蒂诺。当人们想到数据驱动型组织时，他们通常倾向于想到谷歌、Netflix和Uber等公司。然而，有一些非常大的数据驱动型组织已经蓬勃发展了几代人，因为他们如何使用数据来做出明智的业务决策。今天，我邀请到了强生公司的首席数据科学官Pallaw Sharma，与我们一起探讨在这个拥有130多年历史的标志性品牌中，数据驱动意味着什么。这包括为所有数据类型(结构化、半结构化和非结构化数据)拥有一个精心策划的数据层的重要性，以便为整个公司的所有数据和人工智能用例提供服务。是的。让我们开始吧。你的职业生涯很有趣，你是一名营销人员，你从客户服务的角度做过数据分析。你做过B2B和B2C的环境，在你的职业生涯中，是什么一致的经验让你走到了今天的位置?

Pallaw沙玛:
是的。这是个好问题。如果我回顾我的旅程，有一件事仍然是正确的，那就是数据的力量和洞察力的力量。这些年来真正发生的是我们正在生成更多的数据和信息。我们收获更多。工具已经变得更好了，这推动了生产率的巨大提高，并颠覆了许多行业和公司，数据已经成为任何业务的任何流程的核心。因此，在我过去20年的职业生涯中，看到持续不断的数据对业务变得非常有益，这令人兴奋。每个企业，每个行业都在尝试更多地利用数据。对吧?所以这一直是一个不变的真理。 And I see that trend, not weekly, ever, it is becoming a stronger and stronger. We’re generating more data. We are obviously moving foundation. We are mining more. The tools are getting better. The platforms are getting better.

克里斯·达:
是的。太好了。然后，给观众举个例子，你典型的一天是怎么过的，很明显，我们是在远程工作的情况下，但在正常情况下，你在办公室的生活是什么样的?

Pallaw沙玛:
是的。我负责强生公司供应链的整个数据和数字部分。这是一个非常庞大而复杂的供应链。我们是一个非常全球化的组织。我们在世界各地有数百个生产、仓储、运输、质量流程。我们有成千上万的STUs。我典型的日常生活开始于检查许多重要的程序，其中数据在池中发送，对吗?例如，我们是否在正确的地方生产了正确数量的产品?我们的库存情况如何?我们的特别小组表现如何? How are our data science and AI algorithms performing? What is the business value? We all start from there.

Pallaw沙玛:
这都是关于，我们如何更好地为病人服务?从这里开始。然后，我们如何确保我们的员工和我们的企业运转良好?因此，在数十或数百个项目中，数据阐明或供应链激发更好的决策制定，这成为我每天的工作，确保这些项目运行良好。我们正在奠定以数据为中心的文化基础。我们实际上是在提升整个组织的能力，我们真正关注的是你的顶级人才，对吧?确保我们的企业和其他产品一天比一天好。

克里斯·达:
是的。在旧金山湾区和西海岸，我想说，当你有全球业务时，这是最不利的时段之一。我曾经与全球各地的客户合作过，在某一天，你马上就比英国慢了8个小时，而且当你走到全球各地时，情况会越来越糟。你如何应对这种转变?你发现自己凌晨两点还要开会吗?

Pallaw沙玛:
不是两点，但肯定的是，这一天大部分时间都很早就开始了。对吧?我的意思是，我们在世界各地都有同事。我们在西海岸有强大的业务。我们在西雅图、湾区和南加州都有办事处，但在东海岸、欧洲和英国也有很大的业务。我在新加坡和印度也有团队。差不多全世界都有，对吧?这一天很早就开始了，然后一直持续到东部时间下午6点。然后西海岸开始，我有一些领导，然后我们亚太地区的同事开始。对吧? But it’s fun. It’s fun to kind of… It’s exciting to talk about the latest and greatest work that people are doing, I’m always super impressed about the ingenuity of people. These are long days, but we try take breaks in between to make sure that it’s not becoming a continuous series of many, many meetings. But yes, West Coast time is not really very conducive to global opps.

克里斯·达:
我可以想象，你有全球分布，这些区域基础数据集，对吧?基于国内的供应链和制造业，数据架构和数据分析是非常重要的一部分，但通常组织都是从一些新的数据洞察开始的，他们可能没有一个完整的、完整的数据架构。他们正在做一些概念验证。给我们说说你的观点关于如何在快速发展和不那么严格之间取得平衡。体系结构已经完全定义好了，什么时候会出现问题呢?

Pallaw沙玛:
这是个好问题。对吧?然后我们看到我们的角色，我的意思是，我的角色是在企业层面，支持世界各地的所有企业，所有供应链以及质量、可持续性和采购。因此，我们认为我们的角色更多地是催化剂和推动者，然后确保我们赋予人们能力，无论他们身在何处，都能做到最好的工作，无论他们身在何处，都能做出最好的决定。因此，我并没有特别看到快速移动和以架构健壮的方式实现这两者之间的冲突。事实上，因为如果您以我们的体系结构健壮的方式这样做，您将进展得很快。对吧?我们的团队提供公共数据层，确保所有的数据都集中在一个地方，随时可以使用，确保所有的数据管理和清理都得到了处理。这样数据科学家和可视化专家就不需要继续清理数据或者提取数据等等，对吧?

Pallaw沙玛:
所以我们为这个平台提供的仍然是一个堆栈bob体育客户端下载。然后我们在此基础上提供一些老产品，比如预测、自然语言处理或图像分析，对吧?因此，这实际上解放了更接近业务的人，开始快速使用它。对吧?所以我们鼓励人们进行大量的定制学习，大量的PoC，但我们也给他们这个平台，让他们可以更快地进行实验，而不是考虑基础设施，考虑数据平台，考虑云平台上的所有服务。bob体育客户端下载

Pallaw沙玛:
我们会注意到这一点，并确保它对每个人的平台都是开放的，他们实际上可以更快地移动，而不用担心基础层。bob体育客户端下载所以这是一种模式，它实际上推动了整个公司的快速创新，因为这是一个人需要做的。你如何民主化，你如何提升整个事物?没有单一的信用，这使得封闭的生态系统非常困难，也没有提供任何指导，几乎有一个亭子，这是数百个相互冲突的项目。所以真相是介于两者之间。

克里斯·达:
帕劳，我知道强生公司已经有130多年的历史了，我们的许多观众可能没有意识到这一点，但我相信你们已经有了各种各样的数据生态系统和平台架构，以及类似的东西。bob体育客户端下载我们上次谈话时，您谈到Hadoop在这个过程中是多么重要。我想再多讲一点关于你们是如何通过j&j的一些基于云的计划来补充那里的一些工作负载的。

Pallaw沙玛:
绝对的。我们有130年的历史，我们想把自己看成是一个有130年历史的创业公司。所以创新是我们的DNA。我们被分配到一个工程驱动的公司。我们的产品非常非常复杂。它们是救命的产品。他们对低客户和病人很重要。我认为我们的旅程一直在不断发展，对吧?我们拥有多代技术，我的意思是，然后我们也收购和剥离公司，从各地带来更多的技术。在这种情况下，当他们几年前加入时，有一件事很清楚，再次回到中心，那就是商业价值。 We centered on, how would we create more business value, more value for our patients, our doctors, customers, mothers, and fathers? Better, faster, and make sure that our whole ecosystem, internal and external, are moving faster.

Pallaw沙玛:
从这个角度来看，这是一件好事，有很多用例。例如，我们如何实时监控世界各地成千上万的生产线，并确保我们的产量最优化。我们如何预测库存?我们如何进行需求感知?在客户端和供应商端，我们如何与外部合作伙伴进行快速、接近实时的协作?bob体育外网下载所以这些用例，让我们考虑利用现代架构，基于云的架构，机器学习人工智能，API优先架构。我们一直在这个旅程中，因为它补充并真正地赞美了我们的分析堆栈。所以我们有很多技术，但现在，我们真正利用了这些现代平台，它们显示出了很好的效果。bob体育客户端下载

克里斯·达:
太好了。既然你提到了不同的用例，你能谈谈吗?在你经营的一个全球分布的组织中，你如何看待项目投资以及你如何工作以确保你没有不必要的重复工作，对吧?你可能想要权衡两个概念和两个实现，这很好。但如果你真的想要非常高效，并且你对团队有信心，你想要确保工作没有重复。你是怎么做到的?

Pallaw沙玛:
这是个好问题。我认为人们对此必须非常谨慎。再说一次，平衡是非常重要的，因为一方面，我们肯定要鼓励各个层面的创新和实验。我们鼓励人们尝试做出决定[听不清00:12:47]。另一方面，我们必须确保我们都在以教会的方式做事，这是建立在彼此之上，这样我们就不会重复事情。我们处理这些事情的方式，在某些情况下，例如在一个平台模型中，我们可以给组织一个很好的指导，所有的数据都应该到bob体育客户端下载公共数据层，对吗?每个人都应该尝试将他们的分析工作负载、可视化工作负载或BI工作负载连接到相同的公共数据层。

Pallaw沙玛:
人们确实看到了其中的价值，对吧?因为为什么有人想要廉价出售已经提供给他们的提取和清理数据呢?对吧?所以一旦他们看到了价值，这就变成了一件普通的事情，对吧?所以怀廷，大型组织，正确的平台，正确的推动者和传播它，有很长的路要走。bob体育客户端下载另一方面，我们也有一个非常严格的管理创新的过程。一开始，我们尝试以一种小的方式做事情，而不是称之为概念的证明，我们称之为测试和学习，因为一切都是一种学习。

Pallaw沙玛:
所以我们做了一个小测试，然后就知道了。然后从这里开始，迅速扩大规模，对吧?一旦我们理解了这一点，那么哪些技术或平台会更好地使用歧义量表，对吧?bob体育客户端下载因此，对于这两点，一个不仅仅是给人们一个自上而下的信息，告诉他们什么可以做，什么不应该做，而是真正地使他们能够，赋予他们权力，让他们看到现代技术的好处。这样它们就会排列得更好。第二，有一个纪律严明和精简的创新过程，这对我们有所帮助。我的意思是，这是一个旅程，我们在前进的过程中不断优化。

克里斯·达:
是的。这很好，Pallaw，我们在Databricks所做的事情之一就是与我们的客户和潜在客户讨论数据层以及尽可能保持数据层干净的需求。确保你在如何管理数据，净化数据，确保其安全性方面保持一致的好处。这样它就可以一次性完成，这样你就可以以一种更有效的方式操作，并且你正在启用这些下游用例。就像你说的那样，让团队能够用你已经拥有的数据做更多的事情，你曾经使用过和策划过的数据。

Pallaw沙玛:
你喜欢这个。我认为这是任何大型组织都应该采取的最重要的行动之一。这实际上在整个组织中释放了巨大的潜力，数据科学家、数据分析师和可视化专家，我的意思是，他们喜欢在干净和精心策划的数据上工作，因为这是他们可以练习技能的地方。这是他们最有生产力的地方。你通常会发现很多关于数据科学家需要花费多少时间的反馈，仅仅是获取数据，只是清理数据，而不是真正关注他们的技能，这就是数据科学。如果我们能减少系统中的摩擦，我们就能赋予他们力量，让他们有能力。

Pallaw沙玛:
确保他们在正确的时间、正确的延迟、正确的粒度得到正确的信息。这对于在整个组织中释放创新有很大的帮助，这推动了巨大的商业价值，对吗?所以我完全同意这一直是我们最关注的领域之一，当然，除了确保我们有绝对最新、最伟大、最复杂的机器学习算法，但所有这些都依赖于这个基础层，对吧?所以这是一个巨大的解锁机制，然后我们致力于它。

克里斯·达:
是的。这就是我们所说的Databricks, Lakehouse架构。因此，这种尝试将企业数据仓库的好处与所有数据治理相结合的想法。凭借数据湖的灵活性，以及为不同数据类型提供不同工作负载的能力，并结合这两个引擎(如果愿意的话)，使用低成本的基于云的存储。很高兴看到你也这么想。帕劳，强生公司，我知道你们都是Databricks的用户。您使用Delta Lake引擎来获得公共数据层和与之相关的数据卫生。你能告诉我们一些关于它的使用吗?为什么你觉得它是你的架构的重要组成部分?

Pallaw沙玛:
当然。是的。我认为我们对Databricks已经有了很多承诺，并且可能在支持所有公共数据层的同时。如果你看一下我们的主要业务用例，我们有很多很多的用例，这些用例需要不同类型的数据和不同的延迟。例如，我们的规划系统可能需要特定延迟的数据，但制造可能需要实时数据，对吧?采购可能需要文档，对吧?递送和物流可能需要来自世界各地的实时温度和位置信息。对吧?在我们的底层系统中，我们有数百个系统在生成这种类型的数据。对于Databricks，数据湖架构允许我们以适当的延迟将所有这些结合在一起，对吗? And the right cost, that we can provide a clean data’s stream to our analytics and visualization leader. Right?

Pallaw沙玛:
因此，我们在CTR架构上工作，其中包括基础IT平台，然后我们有一个公共数据层，然后我们在上面有分析和可视化，对吧bob体育客户端下载?因此，为Databricks技术提供分析和可视化，数据湖架构实际上是我们向前迈出的一大步，因为我们能够实现跨数百个系统的无缝集成，不同级别的延迟和真正干净的数据。这赋予了端到端的可见性、机器学习工作负载，如自然语言处理、图像分析、预测、优化等。对吧?所以这对我们来说是一项重要的投资，我们期待从中创造更多的价值。

克里斯·达:
所以我们为什么不转向学习一些你会给其他有志于成为首席数据科学官或首席数据分析官的领导者的建议呢?公司内部和外部的人都在关注你，你觉得什么样的事情，你做了什么让你的职业生涯有了今天的成就。

Pallaw沙玛:
当然。正确的。我可以思考一些事情，其中一些原则，我们在前进的过程中不断学习。其中最重要的一件事是我已经提到过几次了，那就是专注于创造业务价值，成为业务的真正和正确的合作伙伴，以及真正负责日常业务绩效的职能领导者。bob体育外网下载让他们有能力，让他们有能力，总是从我所支持的这个项目或倡议的角度思考，我对这个项目或倡议充满热情，这对我们的客户来说真的很重要。它真的解决了关键的业务问题吗?很多时候都有非常复杂和有趣的东西。我对他们感到非常兴奋，但有时，他们的领导者，他们过早地进入市场，否则我们将无法感受到正确的影响。

Pallaw沙玛:
这是第一点，也就是关注商业价值。第二点是考虑尺度，对吧?我们可能会忙于一两个项目，但作为首席数据科学官，首席数据分析官，我们的工作实际上是赋予整个组织以能力，提升整个组织。因此，这不仅与我们直接从事的工作有关，更与我们如何赋予这些工作以权力有关，这样我们就可以在整个组织中释放和释放创新。总而言之，庞大而复杂的组织需要在组织的各个层面进行大量的实验，所以规模很重要。

Pallaw沙玛:
随着规模的扩大，人们必须考虑合适的建筑数量，对吧?什么样的架构才能让你实现规模化?这是一个很好的平衡，快速的实验和快速的本地决策，同时坚持一些共同的标准和一些共同的架构，对吧?然后利用现代技术，云计算、基于API的架构和机器学习人工智能，确保一切都能连接起来，等等。所以这是一种正确的平衡，但要有规模，不要太专注于一两件事，对吧?

克里斯·达:
是的。我想说的是，这是我们实际上一直关注的事情之一，我们想要实现单节点数据科学，以降低成本，并真正实现民主访问，以创建那些公民数据科学家。但我们发现，很多组织都是用一台笔记本电脑和一部分数据来做这件事，因为这对数据科学家来说非常方便。但是当他们试图将其移到生产环境中时，库是不同的版本。数据集可能看起来与他们下载的或我们正在处理的数据有点不同。因此，我们的目标是，我们有能力在我们的平台上进行单节点数据科学，在这个平台上，你有相同的底层环境、相同的库和对数据的相同访问，但你的计算成本会非常非常低bob体育客户端下载。所以我认为这正是你所描述的创新和本地化，但要确保你可以扩大规模。

Pallaw沙玛:
是的。绝对的。这是一种冲突，但这是不对的。我的意思是，就像你可能说的，我们需要确保我们的产品能够适应规模并且能够在生产中运行，对吧?否则，它和第一点就没有商业价值了。我的意思是，我们可以做很多有趣的工作，但除非它进入生产，除非它以大型、可扩展的方式落地并不断自我更新，对吗?没有太多的商业价值。最后，我想说的是人才的发挥，这实际上是，第一点，这整个领域是一个快速增长，快速改善的空间。人才是非常非常重要的。我们如何通过技能和现有的高技能人才来吸引、留住和激励合适的人才? I mean, that becomes a game changer, right?

Pallaw沙玛:
我的意思是，除非它不仅是关于正确的技术，正确的架构，不仅是关于正确的商业价值和对正确问题的关注，而且是关于正确的人才，并确保他们以精简的方式做正确的工作。所以那些更倾向于工程和构建的人，他们专注于构建平台，那些更以业务流程和业务知识为中心的人，他们实际上专注于这些东西的需求和部署。bob体育客户端下载此外，拥有正确的运营模式和合适的人才也是非常重要的。所以，再次强调，要关注商业价值，既要关注规模，也要关注人才。我认为这些是非常重要的事情。

克里斯·达:
所以这一点很好。这让我想到了，我认为下一个领域，就是围绕数据科学发展文化，对吧?招聘、培训、留住这些顶尖人才的成本非常高昂。而且你能得到所有的机构知识一个人的任期越长，你就越不想失去他。那么，你能告诉我一些关于发展蓬勃发展的数据文化的原则吗?以及这种架构在使人们提高生产力和发挥最佳工作方面发挥了什么作用?在你的思想中，这种文化扮演着怎样的角色。

Pallaw沙玛:
是的,当然。我认为这是一个非常非常重要的话题，但是对于大型组织来说，需要大量的领域知识和跨组织导航的知识。对吧?所以我们开始说它将是一个盒子里的工具或模型，对吧。因为一个人不仅需要现代技术技能、数据科学和机器学习技能，在某些情况下，他还需要同样重要的业务知识、流程、事物如何工作、关系以及所有这些知识。所以我们要做的就是确保这两种技能之间有渗透作用。我的意思是，那些了解数据、人工智能、机器学习和全栈的人，以及那些了解业务的人，对吧?

Pallaw沙玛:
我们把他们放在一个债券项目中，然后为他们提供正确的架构和正确的平台，这样他们就可以快速试验。bob体育客户端下载对吧?我的意思是，在想法和需求以及构建和部署之间没有太多的滞后。那我们怎么才能运行得快呢?这是由人工智能和公共数据层、公共工具集、基于云的平台、低成本计算等实现的。bob体育客户端下载所以这些平台和现代bob体育客户端下载技术实际上推动了炖盒模式的发展。然后，我们实际上让这些人，所有的技能组合，更多的是数据和技术技能以及业务和领域知识技能组合对业务结果负责，对吗?因此，我们不希望在某人只负责满足需求和某人负责投标之间有一堵墙，但他们都共同负责产生商业价值。对吧?

Pallaw沙玛:
我们越是展示这种类型的合作，效果就越好。通常情况下，这是非常非常难找到的，这是一种独角兽的情况，如果有人拥有计算机科学或机器学习的博士学位，并且还知道大量的化学或生物等。所以我们必须确保我们需要把这些条款放在一起我们需要确保他们都欣赏，对吧?我指的是专业知识的复杂性和重要性，对吧?因此，我们的数据科学家对我们的制造过程、物流和运输质量过程有了更多的了解，反之亦然，我们的质量和制造。人们对我们的数据科学和平台有了更多的了解，对吧?bob体育客户端下载这就是我们要做的。

演讲者1:
感谢您收看本期由Databricks为您带来的数据和人工智能冠军节目。成千上万的数据领导者依靠Databricks来简化数据和人工智能。因此，数据团队可以更快地创新，解决世界上最棘手的问题。访问www.neidfyre.com，了解数据领导者如何释放所有数据的真正潜力。