#NVIDIA大讲堂# #NVIDIA# NVIDIA大讲堂 | 什么是 APACHE SPARK？（九）加速 Shuffle

在阶段之间从现有 DataFrame 创建新 DataFrame 时，按值对数据进行排序、分组或合并的 Spark 操作必须移动分区之间的数据，此过程称为 shuffle，其中涉及磁盘 I/O、数据序列化和网络 I/O。新的 RAPIDS 加速器 shuffle 实施利用 UCX 优化 GPU 数据传输，尽可能在 GPU 上保留更多的数据，通过使用优质的可用硬件资源，找到在节点间移动数据的快速路径（包括绕过 CPU 执行 GPU 到 GPU 显存的节点内和节点间传输）。

#NVIDIA大讲堂# #NVIDIA# NVIDIA大讲堂 | 什么是 APACHE SPARK？（八）加速 SQL/DataFrame

Spark 3.0 支持 SQL 优化器插件，使用列式批量（而非行式）处理数据。列式数据非常适合 GPU，并且 RAPIDS 加速器可插入此功能以加速 SQL 和 DataFrame 运算符。针对 RAPIDS 加速器，Catalyst 查询优化器进行了修改，可识别通过 RAPIDS API 加速的查询方案（主要是一对一映射）中的运算符，并可在执行查询方案时在 Spark 集群中的 GPU 上调度这些运算符。

#应用降价#

Spark News 是一款支持文字转语音技术的 RSS/Atom 阅读器。App 不仅实现了一个信息流订阅 App 应有的功能，还针对主打的「语音转文字」功能额外添加了如 「Hey Siri」 和「耳机线控」的支持，让使用起来的感觉更像是一个音频播放器。

如果订阅了大量 rss 或 atom 节点但没有时间去浏览，在通勤或运动时让
Speak News 帮你读出来或许也会是一个很棒的选择。