微信公众号 讲师中心
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
搜索
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程
自媒体 新闻
首页 > 数据库 > mysql教程 > 正文

cdh4 spark配置LZO

php中文网
发布： 2016-06-07 16:39:25
原创
1272人浏览过

使用的hadoop是cdh4.2.1版本 spark1.1，需要配置hadoop-native和lzo native 在spark-env.sh加入 HADOOP_CONF_DIR=/etc/hadoop/conf?SPARK_SUBMIT_CLASSPATH=$SPARK_SUBMIT_CLASSPATH:/etc/hive/conf:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/hadoop

使用的hadoop是cdh4.2.1版本 spark1.1，需要配置hadoop-native和lzo native

在spark-env.sh加入

HADOOP_CONF_DIR=/etc/hadoop/conf
?
SPARK_SUBMIT_CLASSPATH=$SPARK_SUBMIT_CLASSPATH:/etc/hive/conf:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/hadoop-lzo.jar
#SPARK_SUBMIT_LIBRARY_PATH=$SPARK_SUBMIT_LIBRARY_PATH:/opt/cloudera/parcels/CDH/lib/hadoop/lib/native:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/native
LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/cloudera/parcels/CDH/lib/hadoop/lib/native:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/native
登录后复制

我加了SPARK_SUBMIT_LIBRARY_PATH发现是加入了java.library.path，但是丢了默认的配置。改为加入LD_LIBRARY_PATH里

spark-defaults.conf的配置

琅琅配音
琅琅配音

全能AI配音神器

琅琅配音 208
查看详情 琅琅配音 
spark.ui.port   8810
spark.executor.extraLibraryPath /opt/cloudera/parcels/CDH/lib/hadoop/lib/native:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/native
登录后复制

可能还需要加上 spark.executor.extraClassPath，但我当前还是单机测试，没配也能跑成功。。
启动spark-sql试试，打开监控页面看看 http://xxxx:8810/environment/ 是否配置正确。

参考：
http://hsiamin.com/posts/2014/05/03/enable-lzo-compression-on-hadoop-pig-and-spark/ （按这里的配置不成功，可能环境变量名称改了。）

http://lotso.blog.51cto.com/3681673/1441737

https://spark.apache.org/docs/latest/configuration.html

原文地址：cdh4 spark配置LZO, 感谢原作者分享。

大家都在看：

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：mongodb由浅入深（50+文章汇总） 下一篇：Kafka+Storm+HDFS整合实践
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
mysql中MAX和MIN函数如何使用_mysql MAX MIN函数方法 MAX()和MIN()是MySQL中用于查找列中最大值和最小值的聚合函数，语法为SELECTMAX(列名)FROM表名;和SELECTMIN(列名)FROM表名;，二者忽略NULL值；可用于数值、日期和字符串类型，支持与WHERE条件结合筛选特定范围内的极值，也可与GROUPBY配合实现分组统计，例如按类别查询最高或最低价格；在实际应用中可快速获取关键极值信息，适用于数据分析等场景，需注意字段数据类型应支持比较操作以避免意外结果。
2025-11-17 10:36:55
117
mysql密码修改后数据库怎么验证_mysql数据库验证密码修改是否成功 答案是通过新密码成功登录MySQL、确认用户表中密码哈希更新、应用连接正常且执行FLUSHPRIVILEGES刷新权限后，验证密码修改成功。
2025-11-17 10:21:19
271
mysql离线安装需要管理员权限吗_mysql离线安装权限要求及解决方法 MySQL离线安装通常需要管理员权限，因涉及写入系统目录、注册服务、修改环境变量和绑定受保护端口等操作。Windows下使用MSI或ZIP版需以管理员身份运行，Linux下部署至/usr/local/mysql等路径及设置开机启动需root或sudo权限。若无管理员权限，可将MySQL安装于用户目录（如~/mysql或D:\mysql），不注册系统服务而手动启动mysqld进程，使用便携版并修改配置文件路径至用户空间。常见问题如“拒绝访问”应检查运行权限与路径可写性，启动失败需查看.err日志确
2025-11-17 10:00:02
372
mysql数据库中sql语句的执行过程_mysql数据库中sql查询的流程 SQL查询流程始于连接器验证身份和权限，2.MySQL8.0前通过查询缓存判断是否命中结果，3.解析器进行词法语法分析生成解析树，4.预处理器校验对象存在性与权限并处理别名，5.优化器基于成本选择最优执行计划，6.执行器检查权限并调用存储引擎读取数据，7.存储引擎通过索引结构从内存或磁盘加载数据，8.最终结果逐行返回客户端并释放资源。
2025-11-17 09:40:02
582
mysql中DELETE语句如何删除数据_mysql数据删除方法 DELETE语句用于删除表中数据，需谨慎使用。1.基本语法为DELETEFROM表名WHERE条件，省略WHERE将删除所有数据；2.可按时间、名称等条件删除，如DELETEFROMordersWHEREcreate_time
2025-11-17 09:26:02
739
如何在mysql中优化多表连接_mysql多表连接优化方法 答案：优化MySQL多表连接需确保连接字段有索引、提前过滤数据、合理选择连接顺序并避免SELECT*。具体包括为外键建立索引，使用WHERE条件缩小输入结果集，优先让小表作驱动表，选择合适连接类型防止笛卡尔积，仅查询必要字段以利用覆盖索引，结合EXPLAIN分析执行计划定位性能瓶颈，从而减少扫描行数与资源消耗。
2025-11-17 09:23:02
190
mysql数据库NULL值和空字符串区别_mysql NULL与空值解析 NULL表示未知或缺失，空字符串表示已知的空值；存储上NULL节省空间但需位图标记，空字符串占少量存储；查询时NULL需用ISNULL判断，空字符串可用=比较；COUNT等聚合函数忽略NULL但计入空字符串；唯一约束下允许多个NULL但仅一个空字符串；应根据业务语义选择使用。
2025-11-17 09:20:03
532
mysql中BETWEEN范围查询如何使用_mysql BETWEEN语法教程 BETWEEN操作符用于选取闭区间内的数据，包括起始值和结束值，可应用于数字、日期或字符串字段，语法为column_nameBETWEENvalue1ANDvalue2，等价于column_name>=value1ANDcolumn_name
2025-11-17 09:16:02
642
如何在mysql中使用备份策略防止数据丢失 答案是制定完整的备份策略，包括定期全量与增量备份、使用物理备份工具提升效率、自动化脚本与远程存储结合，并定期测试恢复流程以确保可恢复性。
2025-11-17 09:10:41
807
mysql触发器怎么调试_mysql触发器调试方法与常见问题解决 答案：通过日志表记录、SIGNAL调试、检查触发器定义及系统视图，可有效排查MySQL触发器问题。
2025-11-17 09:09:07
605
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部