本Sidhom
软件工程师谷歌
本是谷歌的软件工程师。他在Cloud Dataproc工作，专注于扩展体验。在此之前，他致力于嵌入式机器智能技术，这些技术已经在最近的Android版本中推出了GBoard建议和智能选择等功能。在谷歌之前，Ben在eBay的运输分析团队，从事运输估计模型的工作。
过去的会议
随着越来越多的工作负载转移到类似于无服务器的环境，正确处理降级的重要性也在增加。虽然重新计算整个RDD对于处理机器故障是有意义的，但如果您的节点更频繁地被删除，那么您可能会陷入一个看似循环的场景，在这种情况下，您需要缩小规模，并需要重新计算计算中昂贵的部分，然后缩小规模，然后需要再次缩小规模。
即使不是在类似无服务器的环境中，可抢占实例或现货实例也会遇到类似的问题，worker大幅减少，可能会触发大量重新计算。
在这次演讲中，我们将探索在开源集群管理器(如Yarn和kuberneter)上改进缩小体验的方法——从如何调度作业到块的位置及其影响(shuffle等)。bob下载地址
随着越来越多的工作负载转移到类似于无服务器的环境，正确处理降级的重要性也在增加。虽然重新计算整个RDD对于处理机器故障是有意义的，但如果您的节点更频繁地被删除，那么您可能会陷入一个看似循环的场景，在这种情况下，您需要缩小规模，并需要重新计算计算中昂贵的部分，然后缩小规模，然后需要再次缩小规模。
即使不是在类似无服务器的环境中，可抢占实例或现货实例也会遇到类似的问题，worker大幅减少，可能会触发大量重新计算。在这次演讲中，我们将探索在开源集群管理器(如Yarn和kuberneter)上改进缩小体验的方法——从如何调度作业到块的位置及其影响(shuffle等)。bob下载地址
