讲师中心 微信公众号
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机游戏
最近更新
当前位置：首页 > 数据库 > mysql教程 > 正文

0

0

任务配置 (Hadoop 2.2.0)

php中文网

php中文网

发布时间：2016-06-07 15:20:42

|

1232人浏览过

|

来源于php中文网

原创

任务 JVM 内存设置 (AMI 3.0.0) hadoop 2.2.0 使用两个参数配置用于 map 和 reduce 的内存：分别为 mapreduce.map.java.opts 和 mapreduce.reduce.java.opts。它们取代了早期 hadoop 版本中的单个配置选项：mapreduce.map.java.opts。 下表显示了每实例类型

任务 JVM 内存设置 (AMI 3.0.0)

hadoop 2.2.0 使用两个参数配置用于 map 和 reduce 的内存：分别为 mapreduce.map.java.opts 和 mapreduce.reduce.java.opts。它们取代了早期 hadoop 版本中的单个配置选项：mapreduce.map.java.opts。

下表显示了每实例类型的这些设置的默认值。

m1.medium

配置选项 默认值
mapreduce.map.java.opts -Xmx768m
mapreduce.reduce.java.opts -Xmx768m
mapreduce.map.memory.mb 1024
mapreduce.reduce.memory.mb 1024
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 2048
yarn.nodemanager.resource.memory-mb 2048

m1.large

配置选项 默认值
mapreduce.map.java.opts -Xmx864m
mapreduce.reduce.java.opts -Xmx1536m
mapreduce.map.memory.mb 1024
mapreduce.reduce.memory.mb 2048
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 3072
yarn.nodemanager.resource.memory-mb 5120

m1.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx512m
mapreduce.reduce.java.opts -Xmx1536m
mapreduce.map.memory.mb 768
mapreduce.reduce.memory.mb 2048
yarn.scheduler.minimum-allocation-mb 256
yarn.scheduler.maximum-allocation-mb 8 192
yarn.nodemanager.resource.memory-mb 12288

m2.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 2560
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 7168
yarn.nodemanager.resource.memory-mb 14336

m2.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 2560
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 8 192
yarn.nodemanager.resource.memory-mb 30720

m3.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1515m
mapreduce.reduce.java.opts -Xmx1792m
mapreduce.map.memory.mb 1904
mapreduce.reduce.memory.mb 2150
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 3788
yarn.nodemanager.resource.memory-mb 5273

m3.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2129m
mapreduce.reduce.java.opts -Xmx2560m
mapreduce.map.memory.mb 2826
mapreduce.reduce.memory.mb 3072
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 5324
yarn.nodemanager.resource.memory-mb 9113

m2.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 2560
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 8 192
yarn.nodemanager.resource.memory-mb 61440

c1.medium

配置选项 默认值
io.sort.mb 100
mapreduce.map.java.opts -Xmx288m
mapreduce.reduce.java.opts -Xmx288m
mapreduce.map.memory.mb 512
mapreduce.reduce.memory.mb 512
yarn.scheduler.minimum-allocation-mb 256
yarn.scheduler.maximum-allocation-mb 512
yarn.nodemanager.resource.memory-mb 1024

c1.xlarge

配置选项 默认值
io.sort.mb 150
mapreduce.map.java.opts -Xmx864m
mapreduce.reduce.java.opts -Xmx1536m
mapreduce.map.memory.mb 1024
mapreduce.reduce.memory.mb 2048
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 2048
yarn.nodemanager.resource.memory-mb 5120

c3.large

配置选项 默认值
mapreduce.map.java.opts -Xmx768m
mapreduce.reduce.java.opts -Xmx768m
mapreduce.map.memory.mb 921
mapreduce.reduce.memory.mb 921
yarn.scheduler.minimum-allocation-mb 499
yarn.scheduler.maximum-allocation-mb 1920
yarn.nodemanager.resource.memory-mb 1920

c3.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1177m
mapreduce.reduce.java.opts -Xmx1356m
mapreduce.map.memory.mb 1413
mapreduce.reduce.memory.mb 1628
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 2944
yarn.nodemanager.resource.memory-mb 3302

c3.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1515m
mapreduce.reduce.java.opts -Xmx1792m
mapreduce.map.memory.mb 1904
mapreduce.reduce.memory.mb 2150
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 3788
yarn.nodemanager.resource.memory-mb 5273

c3.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2129m
mapreduce.reduce.java.opts -Xmx2560m
mapreduce.map.memory.mb 2826
mapreduce.reduce.memory.mb 3072
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 5324
yarn.nodemanager.resource.memory-mb 9113

c3.8xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx4669m
mapreduce.reduce.java.opts -Xmx4915m
mapreduce.map.memory.mb 4669
mapreduce.reduce.memory.mb 4915
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 8396
yarn.nodemanager.resource.memory-mb 16793

cc1.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 2560
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 5120
yarn.nodemanager.resource.memory-mb 20480

cg1.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 2560
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 5120
yarn.nodemanager.resource.memory-mb 20480

cc2.8xlarge

智能网站优化SiteSEO1.52
智能网站优化SiteSEO1.52

系统易学易懂，用户只需会上网、不需学习编程及任何语言，只要使用该系统平台，只要会打字，即可在线直接完成建站所有工作。本程序适合不懂php环境配置的新手用来在本机调试智能SiteSEO网站优化软件，安装过程极其简单。您的网站地址：http://localhost您的网站后台：登录地址： http://localhost/admin.php密 码： admin服务器套件所包含的软件：nginx-0.7

下载

配置选项 默认值
mapreduce.map.java.opts -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 2560
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 8 192
yarn.nodemanager.resource.memory-mb 56320

cr1.8xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx10895m
mapreduce.reduce.java.opts -Xmx13516m
mapreduce.map.memory.mb 15974
mapreduce.reduce.memory.mb 16220
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 27238
yarn.nodemanager.resource.memory-mb 63897

g2.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx512m
mapreduce.reduce.java.opts -Xmx1536m
mapreduce.map.memory.mb 768
mapreduce.reduce.memory.mb 2048
yarn.scheduler.minimum-allocation-mb 256
yarn.scheduler.maximum-allocation-mb 8 192
yarn.nodemanager.resource.memory-mb 12288

hi1.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx3379m
mapreduce.reduce.java.opts -Xmx4121m
mapreduce.map.memory.mb 4700
mapreduce.reduce.memory.mb 4945
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 8448
yarn.nodemanager.resource.memory-mb 16921

hs1.8xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 2560
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 8 192
yarn.nodemanager.resource.memory-mb 56320

i2.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2150m
mapreduce.reduce.java.opts -Xmx2585m
mapreduce.map.memory.mb 2856
mapreduce.reduce.memory.mb 3102
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 5376
yarn.nodemanager.resource.memory-mb 9241

i2.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx3399m
mapreduce.reduce.java.opts -Xmx4147m
mapreduce.map.memory.mb 4730
mapreduce.reduce.memory.mb 4976
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 8499
yarn.nodemanager.resource.memory-mb 17049

i2.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx5898m
mapreduce.reduce.java.opts -Xmx7270m
mapreduce.map.memory.mb 8478
mapreduce.reduce.memory.mb 8724
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 14745
yarn.nodemanager.resource.memory-mb 32665

i2.8xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx10895m
mapreduce.reduce.java.opts -Xmx13516m
mapreduce.map.memory.mb 15974
mapreduce.reduce.memory.mb 16220
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 27238
yarn.nodemanager.resource.memory-mb 63897

r3.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2150m
mapreduce.reduce.java.opts -Xmx3102m
mapreduce.map.memory.mb 2856
mapreduce.reduce.memory.mb 3102
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 5376
yarn.nodemanager.resource.memory-mb 9241

r3.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx3399m
mapreduce.reduce.java.opts -Xmx4147m
mapreduce.map.memory.mb 4743
mapreduce.reduce.memory.mb 4976
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 8499
yarn.nodemanager.resource.memory-mb 17049

r3.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx5898m
mapreduce.reduce.java.opts -Xmx7270m
mapreduce.map.memory.mb 8478
mapreduce.reduce.memory.mb 8724
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 14745
yarn.nodemanager.resource.memory-mb 32665

r3.8xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx10895m
mapreduce.reduce.java.opts -Xmx13516m
mapreduce.map.memory.mb 15974
mapreduce.reduce.memory.mb 16220
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 27238
yarn.nodemanager.resource.memory-mb 69897

您可以在执行每项任务时启动新 JVM，实现更好的任务隔离；也可以在各项任务之间共享 JVM，降低框架开销。如果您处理的是许多小文件，合理的做法是多次重复使用 JVM，以摊销启动成本。然而，如果每项任务耗时较长或处理的数据量较大，您可以选择不重复使用 JVM，以确保释放出所有内存供后续任务使用。

使用 mapred.job.reuse.jvm.num.tasks 选项配置 JVM 重复使用设置。

使用引导操作修改 JVM

  • 在安装了 Amazon EMR CLI 的目录下，从命令行运行以下命令。有关更多信息，请参见 Amazon EMR 的命令行接口参考。

    • Linux、UNIX 和 Mac OS X 用户：

      ./elastic-mapreduce --create --alive --name "JVM infinite reuse" \
--bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop \
--bootstrap-name "Configuring infinite JVM reuse" \
--args "-m,mapred.job.reuse.jvm.num.tasks=-1"

    • Windows 用户：

      ruby elastic-mapreduce --create --alive --name "JVM infinite reuse" --bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop --bootstrap-name "Configuring infinite JVM reuse" --args "-m,mapred.job.reuse.jvm.num.tasks=-1"

Note

Amazon EMR 已将 mapred.job.reuse.jvm.num.tasks 的值设置为 20，但您可以通过引导操作覆盖此值。值 -1 表示在单一作业中重复使用的次数不受限制，1 表示不能重复使用任务。

相关文章

mysql离线安装如何设置缓冲池大小_mysql离线安装缓冲池参数调整方法

mysql离线安装如何优化性能_mysql离线安装性能优化设置建议

mysql通配符与like怎么结合_mysql通配符与like结合使用的完整指南

mysql通配符怎么进行多字符匹配_mysql通配符实现多字符匹配的方法

mysql数据库怎么迁移_mysql数据库迁移到新服务器的步骤

本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

上一篇：mysql数据库优化技术(1) 下一篇：微软甲骨文战略合作 Azure全面支持Java和Oracle数据库

热门AI工具

更多
DeepSeek

DeepSeek

幻方量化公司旗下的开源大模型平台

AI大模型

开放平台
豆包大模型

豆包大模型

字节跳动自主研发的一系列大型语言模型

AI大模型
通义千问

通义千问

阿里巴巴推出的全能AI助手

AI大模型
腾讯元宝

腾讯元宝

腾讯混元平台推出的AI助手

文档处理

Excel 表格
文心一言

文心一言

文心一言是百度开发的AI聊天机器人，通过对话可以生成各种形式的内容。

AI大模型

中文写作
讯飞写作

讯飞写作

基于讯飞星火大模型的AI写作工具，可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

中文写作

写作工具
即梦AI

即梦AI

一站式AI创作平台，免费AI图片和视频生成。

图片拼接

图画生成
ChatGPT

ChatGPT

最最强大的AI聊天机器人程序，ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

AI大模型

中文写作
智谱清言 - 免费全能的AI助手

智谱清言 - 免费全能的AI助手

智谱清言 - 免费全能的AI助手

AI大模型

PDF 文档

相关专题

更多
Word 字间距调整方法汇总
Word 字间距调整方法汇总

本专题整合了Word字间距调整方法，阅读下面的文章了解更详细操作。

2

2025.12.24

任务管理器教程
任务管理器教程

本专题整合了任务管理器相关教程，阅读下面的文章了解更多详细操作。

2

2025.12.24

AppleID格式
AppleID格式

本专题整合了AppleID相关内容，阅读专题下面的文章了解更多详细教程。

0

2025.12.24

csgo视频观看入口合集
csgo视频观看入口合集

本专题整合了csgo观看入口合集，阅读下面的文章了知道更多入口地址。

29

2025.12.24

yandex外贸入口合集
yandex外贸入口合集

本专题汇总了yandex外贸入口地址，阅读下面的文章了解更多内容。

58

2025.12.24

添加脚注通用方法
添加脚注通用方法

本专题整合了添加脚注方法合集，阅读专题下面的文章了解更多内容。

1

2025.12.24

重启电脑教程汇总
重启电脑教程汇总

本专题整合了重启电脑操作教程，阅读下面的文章了解更多详细教程。

3

2025.12.24

纸张尺寸汇总
纸张尺寸汇总

本专题整合了纸张尺寸相关内容，阅读专题下面的文章了解更多内容。

5

2025.12.24

Java Spring Boot 微服务实战
Java Spring Boot 微服务实战

本专题深入讲解 Java Spring Boot 在微服务架构中的应用，内容涵盖服务注册与发现、REST API开发、配置中心、负载均衡、熔断与限流、日志与监控。通过实际项目案例（如电商订单系统），帮助开发者掌握 从单体应用迁移到高可用微服务系统的完整流程与实战能力。

1

2025.12.24

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

相关下载

更多
智能网站优化SiteSEO1.52
ERMEB云盘发卡系统源码
Sylius开源电子商务平台
企业管理系统2.0
ERMEB云盘发卡小程序源码

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Node.js 教程
Node.js 教程

共57课时 | 7.2万人学习

ASP 教程
ASP 教程

共34课时 | 2.8万人学习

Python 教程
Python 教程

共137课时 | 6.7万人学习

最新文章

更多
什么是关系型数据库_mysql关系模型说明
mysql主从复制如何配置延迟从库_mysql延迟复制用途说明
mysql中的时间类型有哪些_mysql时间类型基础讲解
如何判断mysql是否使用索引_mysql索引使用判断方法
什么是事务_mysql事务基本概念
如何选择合适的事务隔离级别_mysql并发控制
共享锁和排他锁如何使用_mysql锁用法说明
什么是binlog_mysql二进制日志说明
如何在从库配置复制_mysql slave设置方法
如何验证mysql迁移是否成功_mysql迁移校验方法
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部