yarn.scheduler.fair.locality.threshold.node:当应用程序请求某个节点上的资源时,它可以接受的可跳过的最大资源调度机会。当按照分配策略可将一个节点上的资源分配给某个应用程序时,如果该节点不是应用程序期望的节点,可选择跳过该分配机会暂时将资源分配给其他应用程序,直到满足该应用程序需求的节点资源出现。通常而言,一次心跳代表一次调度机会,而该参数则表示跳过调度机会占节点总数的比例,默认情况下,该值为-1.0,表示不跳过任何调度机会
这个值是个小数么还是分数还是什么?是代表每次不符合的节点会跳过的几率么
是小数,表示放弃调度的机会。也就是说该值度量了放弃调度的可能性
<property> <name>yarn.scheduler.fair.locality.threshold.node</name> <value>0.1</value> </property>
fair 允许等待nodelocal调度的次数,这个配置是集群节点数的比例值。比如说集群100台,为达到某个作业的datalocal调度,允许等待10次。大于10就强制调度 。
|