博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
MapReduce 调优
阅读量:7047 次
发布时间:2019-06-28

本文共 1713 字,大约阅读时间需要 5 分钟。

1. 相关的资源参数

mapreduce.map.memory.mb: 一个maptask可以使用的资源上限,默认是1G,如果超过设置的值,会被强制杀死

mapreduce.reduce.memory.mb:一个 Reduce Task 可使用的资源上限默认是1G,如果超过设置的值,会被强制杀死
mapreduce.map.cpu.vcores:每个maptask最多的CPU core 默认是1个
mapreduce.reduce.cpu.vcores:每个reducetask最多的CPU core 默认是1个


以下参数应该在 yarn 启动之前就配置在服务器的配置文件中才能生效

yarn.scheduler.minimum-allocation-mb=1024:给应用程序 container 分配的最小内存

yarn.scheduler.maximum-allocation-mb=8192:给应用程序 container 分配的最大内存
yarn.scheduler.minimum-allocation-vcores=1:给应用程序 container 分配的最小CPU个数
yarn.scheduler.maximum-allocation-vcores=32:给应用程序 container 分配的最大CPU个数
yarn.nodemanager.resource.memory-mb=8192 :nodemanager启动任务的
mapreduce.task.io.sort.mb=100 :shuffle阶段环形缓冲区的大小
mapreduce.map.sort.spill.percent=0.8:shuffle阶段环形缓冲区的阈值

2. 相关的容错参数

mapreduce.map.maxattempts=4:每个 Map Task 最大重试次数,一旦重试参数超过该值,则认为 Map Task 运行失败

mapreduce.reduce.maxattempts=4: 每个 Reduce Task 最大重试次数,一旦重试参数超过该值,则认为 Map Task 运行失败
mapreduce.map.failures.maxpercent=0: 当失败的 Map Task 失败比例超过该值为,整个作业则失败,失败的maptask比例不能比这个值大
mapreduce.reduce.failures.maxpercent=0:当失败的 Reduce Task 失败比例超过该值为,整个作业则失败
mapreduce.task.timeout:如果一个 task 在一定时间内没有任何进入,即不会读取新的数据,也没有输出数据,则认为该 task 处于 block 状态,可能是卡住了,也许永远会卡主,为了防止因为用户程序永远block 住不退出,则强制设置了一个该超时时间(单位毫秒),默认是 300000。

3. 本地运行 mapreduce 作业

mapreduce.framework.name=local

mapreduce.jobtracker.address=local

4. 效率和稳定性相关参数

mapreduce.map.speculative:是否为 Map Task 打开推测执行机制,默认为 false

mapreduce.reduce.speculative:是否为 Reduce Task 打开推测执行机制,默认为 false
mapreduce.input.fileinputformat.split.minsize: FileInputFormat 做切片时的最小切片大小
mapreduce.input.fileinputformat.split.maxsize:FileInputFormat 做切片时的最大切片大小(切片的默认大小就等于 blocksize,即 134217728)

注意:所有的参数调试都跟根据自己的实际的业务逻辑进行调试调试的!!!!!

转载于:https://blog.51cto.com/14048416/2342198

你可能感兴趣的文章
微信小程序脚手架及html转译GUI工具(未实践)
查看>>
harbor仓库搭建以及使用
查看>>
outlook 2007 邮箱只能接收不能发送邮件
查看>>
Liferay 启动过程分析2-进入MainServlet
查看>>
aria-expanded
查看>>
Laravel中使用路由控制权限(不限于Laravel,只是一种思想)
查看>>
Jmeter连接mysql数据库进行操作
查看>>
webapp之静态资源404
查看>>
矢量图形引擎库VectorDraw Developer Framework更新至v7.7010.1.0丨附下载
查看>>
客户端图像浏览器Prizm ActiveX Viewer v10.3发布丨附下载
查看>>
Go圣经-学习笔记之接口
查看>>
mysql使用记录
查看>>
亿级规模的Elasticsearch优化实战
查看>>
Java——内部类
查看>>
自然语言处理工具pyhanlp分词与词性标注
查看>>
以太坊ERC标准简介:ERC20/ERC721/ERC223/ERC621/ERC827
查看>>
比特币现金支持者拿真金白银支持BCH发展
查看>>
【C++多线程系列】【十】future与promise
查看>>
发现生物群体中的一个规律
查看>>
91.创建普通用户 添加机器、系统用户并授权、授权规则 客户端登录jumpserver 总结...
查看>>