讲师中心 微信公众号
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机游戏
最近更新
首页 > 数据库 > mysql教程 > 正文

Sqoop安装及验证_MySQL

php中文网
发布： 2016-05-31 08:48:51
原创
1676人浏览过

sqoop安装及验证环境：

系统

Red Hatlinux 6.4

Hadoop版本

1.2.1

Sqoop版本

1.4.4

Mysql数据库版本

5.6.15

通过Sqoop实现Mysql /Oracle与HDFS / Hbase互导数据http://www.linuxidc.com/Linux/2013-06/85817.htm

[Hadoop] Sqoop安装过程详解http://www.linuxidc.com/Linux/2013-05/84082.htm

用Sqoop进行MySQL和HDFS系统间的数据互导http://www.linuxidc.com/Linux/2013-04/83447.htm

Hadoop Oozie学习笔记 Oozie不支持Sqoop问题解决http://www.linuxidc.com/Linux/2012-08/67027.htm

Hadoop生态系统搭建（hadoop hive hbase zookeeper oozie Sqoop）http://www.linuxidc.com/Linux/2012-03/55721.htm

Hadoop学习全程记录——使用Sqoop将MySQL中数据导入到Hive中http://www.linuxidc.com/Linux/2012-01/51993.htm

获取sqoop：http://sqoop.apache.org/

Step1. 下载sqoop及mysqlconnector并解压

Step2. 将解压后的connector中的jar包拷贝到sqoop的lib目录下

修改bin目录下 configure-sqoop 文件：

注释掉hbase和 zookeeper检查，因为目前还没有启用hbase/zookeeper等hadoop上的组件

Step3. 设置环境变量

注意重新连接使环境变量生效！

ERMEB域名PHP离线网络授权系统
ERMEB域名PHP离线网络授权系统

感谢您选择使用ERMEB域名授权离线网络验证系统（简称：ERMEB域名授权系统）是ERMEB团队开发，ERMEB域名授权系统是国内最稳定，最强大，最先进的域名授权管理平台解决方案之一，ERMEB域名授权系统采用PHP +Mysql的技术，ERMEB域名授权系统框架使用Thinkphp6/mysql数据库基于Markdown开发者文档开发而成，项目安装请参考ThinkPHP官方文档及下面的服务环境说

ERMEB域名PHP离线网络授权系统 0
查看详情 ERMEB域名PHP离线网络授权系统

Sqoop:

Hadoop_home:

测试运行下sqoop：

可以使用help命令查看帮助：

Step4. 测试mysql导入HDFS：

创建一张测试表并插入数据：

利用sqoop将测试表导入到hdfs：

注意：可以用sqoop help import 查看帮助信息

登陆mysql创建用户，授予从任何ip登陆mysql权限

这里创建用户sqoopuser

GRANT ALL PRIVILEGES ON *.* TO 'sqoopuser'@'%' IDENTIFIED BY 'sqoopuser' WITH GRANT OPTION;

查看数据库列表：

sqoop list-databases --connect jdbc:mysql://10.55.15.89:3306/ --username sqoopuser --P

执行导入命令将sqoop_test表导入到hdfs：

sqoop import --connect jdbc:mysql://10.55.15.89:3306/sqoop_db --username sqoopuser --P --table sqoop_test -m 1

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：CentOS 6.4安装配置LNMP服务器（Nginx+PHP+MySQL）_MySQL 下一篇：DB封装_MySQL
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
如何实现用户行为分析_mysql数据分析入门 MySQL用户行为分析核心是结构化存储埋点数据并用SQL实现漏斗、留存、路径分析；需设计users/events宽表组合、用窗口函数补会话与用户状态、通过自连接/JOIN/聚合完成三大场景，辅以分区和预计算提升性能。
2025-12-23 18:38:02
723
如何使用连接池限流_mysql并发控制技巧 连接池限流是控制MySQL并发访问最直接有效的方式，核心是通过设置最大活跃连接数（如HikariCP的maximum-pool-size=20）防止连接耗尽；需结合压测结果合理配置，并辅以超时、泄漏检测、空闲回收等策略，配合MySQL层锁优化与资源组隔离，再通过监控指标动态调优。
2025-12-23 18:36:09
192
如何配置mysql运行权限_mysql运行权限设置说明 MySQL应以专用低权限用户（如mysql）运行，数据目录需设为mysql:mysql且权限750，配置文件权限644、日志目录750，避免权限过宽导致启动失败或安全风险。
2025-12-23 18:04:03
110
mysql高并发下如何避免连接耗尽_mysql连接耗尽解决方法 MySQL高并发连接耗尽本质是请求速度超服务处理能力，致连接池占满、新请求被拒；应控入口（合理设max_connections）、提效率（优化查询与索引）、稳释放（规范连接池管理与超时清理）。
2025-12-23 18:02:53
999
如何在mysql中批量插入数据_mysql批量插入操作方法 MySQL批量插入最高效方式是单条INSERTINTO...VALUES(...),(...)语句，建议单次≤1000行；其次可用LOADDATAINFILE导入文本文件或INSERT...SELECT实现表间复制，并需配合事务控制、索引优化及参数调优。
2025-12-23 18:02:05
509
如何在云环境升级mysql_mysql云数据库升级 云环境升级MySQL不等于本地重装，核心是利用云平台可控可回滚路径：小版本支持热升级，大版本需迁移；须做兼容检查、全量备份+Binlog、应用测试；升级中关注重启时机、参数继承与复制延迟；升级后验证连接、查询、脚本及监控指标。
2025-12-23 18:01:03
472
mysql数据库恢复后数据不一致怎么办_mysql数据校验方法 MySQL恢复后数据不一致需立即停写并确认恢复方式，用pt-table-checksum校验主从、checksumtable比对单实例，定位后谨慎修复。
2025-12-23 17:55:02
636
mysql镜像配置怎么连接_mysql镜像配置连接数据库的方法步骤 启动MySQL容器需设置root密码、端口映射和数据挂载，示例命令：dockerrun--namemysql-container-eMYSQL_ROOT_PASSWORD=yourpassword-p3306:3306-v/my/local/data:/var/lib/mysql-dmysql:8.0；2.可通过dockerexec进入容器连接或从宿主机使用mysql客户端以mysql-h127.0.0.1-P3306-uroot-p连接；3.注意确认容器运行、端口开放及权限配置，必要时查看日志
2025-12-23 17:53:02
925
mysql中如何分析日志文件大小 答案：通过SHOWVARIABLES和操作系统命令查看MySQL各类日志路径与大小，结合mysqldumpslow分析慢查询日志，设置binlog过期时间及logrotate实现自动清理，定期检查并优化日志策略可有效控制磁盘使用。
2025-12-23 17:41:02
802
mysql如何迁移历史数据_mysql历史数据迁移方法 MySQL历史数据迁移常用方法包括：1.使用mysqldump导出导入，适合中小数据量，操作简单但大数据时较慢；2.通过INSERTINTO...SELECT跨库迁移，无需中间文件，适用于网络稳定场景；3.分批迁移降低影响，按主键分段处理大表数据；4.使用pt-archiver等工具实现高效、低影响的迁移与归档。选择方案需综合数据量、停机窗口与运维需求，提前测试并监控资源。
2025-12-23 17:30:58
358
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部