Sqoop1:
wget http://mirrors.ustc.edu.cn/apache/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz
tar -xzvf sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz
mv sqoop-1.4.4.bin__hadoop-1.0.0 sqoop-1.4.4
cd sqoop-1.4.4
sudo vi /etc/profile
增加:
export HADOOP_COMMON_HOME=/home/ysc/hadoop-1.2.1
export HADOOP_MAPRED_HOME=/home/ysc/hadoop-1.2.1
export PATH=$PATH:/home/ysc/sqoop-1.4.4/bin
export HBASE_HOME=/home/ysc/hbase-0.94.12
source /etc/profile
sqoop help
将JDBC驱动mysql-connector-java-5.1.18.jar拷贝到/home/ysc/sqoop-1.4.4/lib
sqoop list-databases --connect jdbc:mysql://host001 --username root --password ysc
sqoop list-tables --connect jdbc:mysql://host001/mysql --username root --password ysc
sqoop import --connect jdbc:mysql://host001/test --username root --password ysc --table person
sqoop import --connect jdbc:mysql://host001/test --username root --password ysc --table person -m 1
sqoop import --connect jdbc:mysql://host001/test --username root --password ysc --table person --direct -m 1
sqoop import-all-tables --connect jdbc:mysql://host001/test --username root --password ysc --direct -m 1
sqoop export --connect jdbc:mysql://host001/test --username root --password ysc --table person --export-dir person
sqoop export --connect jdbc:mysql://host001/test --username root --password ysc --table animal --export-dir animal
Sqoop2:
wget http://mirror.bit.edu.cn/apache/sqoop/1.99.2/sqoop-1.99.2-bin-hadoop100.tar.gz
tar -xzvf sqoop-1.99.2-bin-hadoop100.tar.gz
mv sqoop-1.99.2-bin-hadoop100 sqoop-1.99.2
cd sqoop-1.99.2
sudo apt-get install zip
bin/addtowar.sh -hadoop-version 1.2.1 -hadoop-path /home/ysc/hadoop-1.2.1
bin/addtowar.sh -jars /home/ysc/mysql-connector-java-5.1.18.jar
vi server/conf/sqoop.properties
修改org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/etc/hadoop/conf/为
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/ysc/hadoop-1.2.1/conf/
启动Sqoop 2 server:
bin/sqoop.sh server start
停止Sqoop 2 server:
bin/sqoop.sh server stop
客户端连接Sqoop 2 server:
客户端直接解压即可运行
MySQL准备数据库和表:
create database test;
create table history (userId int, command varchar(20));
insert into history values(1, 'ls');
insert into history values(1, 'dir');
insert into history values(2, 'cat');
insert into history values(5, 'vi');
交互模式:
bin/sqoop.sh client
sqoop:000> set server --host host001 --port 12000 --webapp sqoop
sqoop:000> show version --all
sqoop:000> show connector --all
sqoop:000>create connection --cid 1
Name: mysql
JDBC Driver Class: com.mysql.jdbc.Driver
JDBC Connection String:
jdbc:mysql://host001:3306/test?useUnicode=true&characterEncoding=UTF-8&createDatabaseIfNotExist=true&autoReconnect=true
Username: root
Password: ***
entry#回车
Max connections:100
sqoop:000>create job --xid 1 --type import
Name:ImportHistory
Schema name:
Table name: history
Table SQL statement:
Table column names:
Partition column name:userId
Boundary query:
Choose:0
Choose: 0
Output directory: output-sqoop2-history
Extractors:
Loaders:
sqoop:000> submission start --jid 1
sqoop:000> submission status --jid 1
sqoop:000> submission stop --jid 1
批处理模式:
sqoop.sh client /home/ysc/script.sqoop
vi /home/ysc/script.sqoop
输入:
#指定服务器信息
set server --host host001 --port 12000 --webapp sqoop
#执行JOB
submission start --jid 1
相关推荐
Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具,结构化数据可以是MySQL、Oracle等RDBMS。Apache框架Hadoop是一个越来越通用的分布式计算环境,主要用来处理大数据。随着云提供商利用这个框架,更多的...
Sqoop是一个用于在Hadoop和关系数据库或大型机之间传输数据的工具。您可以使用Sqoop将关系数据库管理系统(RDBMS)中的数据导入Hadoop分布式文件系统(HDFS),转换Hadoop MapReduce中的数据,然后将数据导出回RDBMS...
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。Sqoop由Apache软件基金会提供。;9.2 Sqoop...
支持RDBMS和HDFS之间高效大容量批量数据传输的工具 当您要将关系数据库中存储的数据导入到HDFS Hadoop引擎时使用。 可以将来自外部系统的数据导入HDFS并以Hive表和HBase表等各种Hadoop文件格式保存。 Sqoop v2仅...
Hadoop HBbase HIVE Sqoop概念介绍说明,及和RDBMS的比较
将数据从 RDBMS 导入 HDFS 在 Hive 中使用相应的工具和命令(例如 LOAD DATA 语句),手动将数据载入 Hive 或 Hbase 大数据-sqoop全文共16页,当前为第4页。 Sqoop版本区别 功能 Sqoop1 Sqoop2 数据从 Hive 或 ...
大数据sqoop从RDBMS中向Hadoop的hdfs中进行数据的转移工具。
Apache Sqoop(SQL-to-Hadoop) 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。 用户可以在 Sqoop 的帮助下,轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase 和Hive)中;同时也可以把...
一、 HBase技术介绍 HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统... Sqoop则为HBase提供了方便的RDBMS数据导入功能,使得传统数据库数据向HBase中迁移变的非常方便。
Sqoop是一个用于在Hadoop和关系...您可以使用Sqoop将关系数据库管理系统(RDBMS)(如MySQL或Oracle或大型机)中的数据导入Hadoop分布式文件系统(HDFS),转换Hadoop MapReduce中的数据,然后将数据导出回RDBMS 。
本书从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。全书共16章,3个附录,涉及的主题包括:Haddoop简介;MapReduce简介;Hadoop分布式文件系统;Hadoop...
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以使用Sqoop将数据从MySQL或Oracle等关系数据库管理系统(RDBMS)导入Hadoop分布式文件系统(HDFS),在Hadoop MapReduce中转换数据,然后将数据...
2.6 HBase和RDBMS的比较 2.6.1 成功的服务 2.6.2 HBase 2.6.3 实例:HBase在Streamy.com的使用 2.7 Praxis 2.7.1 版本 2.7.2 HDFS 2.7.3 用户接口(UI) 2.7.4 度量(metrics) 2.7.5 模式设计 2.7.6 计数器 2.7.7 ...
Practical Hadoop Migration: How to Integrate Your RDBMS with the Hadoop Ecosystem and Re-Architect Relational Applications to NoSQL by Bhushan Lakhe English | 28 Aug. 2016 | ISBN: 1484212886 | 332 ...
Re-architect relational applications to NoSQL, integrate relational database management systems with the Hadoop ecosystem, and transform and migrate relational data to and from Hadoop components....
word源码java hadoop生态圈 spark生态圈 大数据概述 初识hadoop ...flume(日志采集局和传输系统) sqoop(关系型数据库<->hdfs) 数据存储 hadoop(hdfs) 数据处理/分析/挖掘 hadoop、spark、flink、hi
在大数据分析场景中,以ETL(Extract抽取-Transform交互转换-Load加载)为例,数据的操作包含了如下流程:RDBMS==>Sqoop==>Hadoop==>Sqoop==>RDBMS/NoSQL/...,这里涉及了三个流程:数据抽取==>数据清洗==>数据入库。...
Sqoop Sqoop是一种数据传输工具,可帮助我们将数据从RDBMS传输到Hadoop / HDFS,反之亦然。 它是一个基于命令的工具,具有用于连接到各种RDBMS系统的连接字符串。 Sqoop支持导入和导出。 导入是指我们将数据从RDBMS...
扩展: 1、数据处理主要技术 Sqoop:作为⼀款开源的离线数据传输⼯具,主要⽤于Hadoop(Hive) 与传统数据库(MySql,PostgreSQL)间的数据传递。它可以 将⼀个关系数据库中数据导⼊Hadoop的HDFS中,也可以将HDFS中的...
Hadoop definitive 第三版, 目录如下 1. Meet Hadoop . . . 1 Data! 1 Data Storage and Analysis 3 Comparison with Other Systems 4 RDBMS 4 Grid Computing 6 Volunteer Computing 8 A Brief History of Hadoop 9...