钨项目是什么?
钨的代号是伞项目修改Apache火花的执行引擎,关注大幅提高火花应用程序的内存和CPU的效率,推动现代硬件性能接近的极限。
这些举措钨项目包括:
- 内存管理和二进制处理:利用应用程序语义显式地管理内存和消除JVM对象模型和垃圾收集的开销
- 支持缓存计算:算法和数据结构,利用内存层次结构
- 代码生成:使用代码生成利用现代编译器和cpu
- 没有虚函数文件:这减少了多个CPU调用时可能会对性能产生深远影响调度数十亿倍。
- 中间数据在内存和CPU寄存器:钨阶段2的地方中间数据转换成CPU寄存器。这是订单数量的大小减少周期获得CPU寄存器的数据而不是从内存
- 循环展开和SIMD:优化Apache火花的执行引擎利用现代编译器和cpu的能力有效地编译和执行简单的for循环(相对于复杂的函数调用图)。
专注于CPU效率是出于这一事实引发工作负载越来越瓶颈的CPU和内存使用,而不是IO和网络通信。所表现出的趋势是最近的研究对大数据的工作负载的性能。