1、任务中如何确定spark RDD分区数、task数目、core个数、worker节点个数、excutor数量

（1）hdfs 上的文件的存储形式是以 Block 的形式存储的，每个 File 文件都包含了很多块，一个Block默认是128M大小。当 spark 从 hdfs 上读取数据的时候，会根据具体数据格式对应的 InputFormat 进行解析，一般是将若干个Block合并成一个输入分片，称为 InputSplit，其中要注意InputSplit不能跨越文件 File。

（2）spark 会为这些分片生成具体的 task，InputSplit 与 Task 是一 一对应的关系，随后这些具体的 Task 每个都会被分配到集群上的某个节点的某个 Executor 去执行，每个 task 执行的结果就生成了RDD的一个 partiton。

每个 worker 节点可以起一个或多个 Executor。
每个 Executor 由若干 core 组成，每个 Executor 的每个 core 一次只能执行一个 Task。
每个 Task 执行的结果就是生成了目标 RDD 的一个 partiton。
注意： 这里的 core 是虚拟的 core 而不是机器的物理 CPU 核，可以理解为就是 Executor 的一个工作线程。

Task被执行的并发度 = Executor数目 * 每个Executor核数（=core总个数）

2、RDD 中 partition 的数目：
　　对于数据读入阶段，例如 sc.textFile，输入文件被划分为多少 InputSplit 就会需要多少初始 Task。

　　在 Map 阶段 partition 数目保持不变。

　　在 Reduce 阶段，RDD 的聚合会触发 shuffle 操作，聚合后的 RDD 的 partition 数目跟具体操作有关，例如 repartition 操作会聚合成指定分区数，还有一些算子是可配置的。

　　RDD 在计算的时候，每个分区都会起一个 task，所以 rdd 的分区数目决定了总的 task 数目。

　　申请的计算节点（Executor）数目和每个计算节点核数，决定了你同一时刻可以并行执行的 task。

例如：

　　RDD有100个分区，那么计算的时候就会生成100个task，你的资源配置为10个计算节点，每个2个核，同一时刻可以并行的task数目为20，计算这个RDD就需要5个轮次。

　　如果计算资源不变，你有101个task的话，就需要6个轮次，在最后一轮中，只有一个task在执行，其余核都在空转。

　　如果资源不变，你的RDD只有2个分区，那么同一时刻只有2个task运行，其余18个核空转，造成资源浪费。

#清检分享##大数据赋能新时代法律监督#【数字监督模型揪出“隐形网约房”】“隐形网约房”指那些已经取得营业执照，却未到公安机关办理登记手续接受公安机关监管的网约房，房源信息和入住人员信息都无法被监测，可能被不法分子利用，不利于预防、打击违法犯罪行为。怎样才能让“隐形网约房”显形？浙江省杭州市临平区检察院成立数字办案组，搭建了网约房业态治理检察监督模型，通过数据碰撞，排查出辖区内共有1000余家网约房，其中100余家是未办理行业纳管手续的“隐形网约房”。https://t.cn/A6SXDW41

【今日数据前瞻：EDG vs TES】

今天将决出LPL夏季赛决赛的最后一个名额，EDG也将再次面对前几天憾负的对手TES。两队的赛季整体数据非常接近，都是场均时长和血腥程度排名偏低，但前期数据非常强悍的队伍，因此本轮系列赛很可能会非常焦灼。除了下路的发挥将对比赛产生关键作用外，两队中路的博弈也格外重要，knight的场均参团率和分均伤害都处于领先，而老将Scout往往在越关键的比赛中越能展现出火热的状态，谁能带领队伍进入决赛，强强对决一触即发。

#EDG对战TES##2022LPL夏季赛季后赛#