博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
sqoop2安装
阅读量:6476 次
发布时间:2019-06-23

本文共 2072 字,大约阅读时间需要 6 分钟。

hot3.png

折腾了一天,最后才发现sqoop2暂时只支持mysql到hdfs或者hdfs到mysql,不支持hive或者hbase,无语啊。不过这里还是记下sqoop2的安装,兴许以后sqoop2加了支持,从这里能够快速记忆起来。

首先下载,这里版本是sqoop1.99.6,解压什么的就不说了。主要是配置,首先是环境变量

export SQOOP_HOME=/home/hadoop/sqoop/sqoop-1.99.6-bin-hadoop200export PATH = $SQOOP_HOME/bin:$PATHexport CATALINA_BASE=/home/hadoop/sqoop/sqoop-1.99.6-bin-hadoop200/serverexport LOGDIR=$SQOOP_HOME/logs/

然后是sqoop-1.99.6-bin-hadoop200/server/conf/sqoop.properties,修改属性org.apache.sqoop.submission.engine.mapreduce.configuration.directory

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hadoop/hadoop/hadoop-2.6.1/etc/hadoop

然后是sqoop-1.99.6-bin-hadoop200/server/conf/catalina.properties ,修改属性common.loader

common.loader=/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/common/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/common/lib/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/hdfs/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/hdfs/lib/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/mapreduce/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/mapreduce/lib/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/tools/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/tools/lib/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/yarn/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/yarn/lib/*.jar,/home/hadoop/hadoop/hadoop-2.6.1/share/hadoop/httpfs/tomcat/lib/*.jar

然后下载mysql的驱动包,放到server/lib下。

下面是常用命令

./sqoop.sh server start    启动 ./sqoop.sh server stop     停止./sqoop.sh client          进入客户端set server --host hadoopMaster --port 12000 --webapp sqoop 设置服务器,注意hadoopMaster为hdfs主机名show connector --all    查看连接类型create link --cid 1    创建连接,cid为连接类型idshow link 查看连接update link -l 1 修改id为1的连接delete link -l 1 删除id为1的连接create job -f 1 -t 2 创建从连接1到连接2的jobshow job 查看jobupdate job -jid 1    修改jobdelete job -jid 1    删除jobstatus job -jid 1    看看job状态stop job -jid    1   停止job

日志在server/logs

1.99.7安装使用教程

http://blog.csdn.net/u012842205/article/details/52344196

http://blog.csdn.net/u012842205/article/details/52346595

转载于:https://my.oschina.net/shyloveliyi/blog/514423

你可能感兴趣的文章
再次更新
查看>>
利用Windows自带的Certutil查看文件MD5
查看>>
开篇,博客的申请理由
查看>>
[JSOI2008]星球大战starwar BZOJ1015
查看>>
centos 7 部署LDAP服务
查看>>
iOS项目分层
查看>>
IntelliJ IDEA 注册码
查看>>
String字符串的截取
查看>>
Shell编程-环境变量配置文件
查看>>
Struts2和Spring MVC的区别
查看>>
理解Javascript参数中的arguments对象
查看>>
git代码冲突
查看>>
git bash 风格调整
查看>>
linux操作系统加固软件,系统安全:教你Linux操作系统的安全加固
查看>>
linux中yum源安装dhcp,24.Linux系统下动态网络源部署方法(dhcpd)
查看>>
HDOJ-1010 Tempter of the Bone
查看>>
JavaNIO基础02-缓存区基础
查看>>
日本开设无人机专业,打造无人机“人才市场”
查看>>
190行代码实现mvvm模式
查看>>
兼容几乎所有浏览器的透明背景效果
查看>>