Sqoop数据导入HDFS

实验目的

1.掌握Sqoop的各种导入操作

实验内容

练习使用Sqoop将数据在Mysql与HDFS之间的导入导出。

实验步骤

现有buyer_log表，存储了买家行为日志，包含四个字段（ID，用户ID，时间，IP，操作类型）。

1.首先检查Hadoop相关进程，是否已经启动。请给出hadoop集群启动命令。

start-dfs.sh

start-yarn.sh

2.在Linux本地新建/data/sqoop1目录。请给出执行命令。

mkdir -p /data/sqoop1

使用XFtp工具，将buyer_log.txt文件上传到/data/sqoop1目录中。

3.连接Mysql。

4.在Mysql中创建数据库mydb，并使用mydb数据库。请给出执行命令。

在mydb数据库中创建表record。

5.将Linux本地/data/sqoop1/buyer_log里的内容，导入的mydb数据库record表中。

查看record表中内容。请给出执行命令和运行结果截图。

6，另开一个窗口，使用Sqoop的 list-databases命令查看Mysql中的数据库。请给出执行命令和运行结果截图。

sqoop list-databases --connect jdbc:mysql://master:3306/ --username root -P

使用Sqoop将Mysql中的数据导入到HDFS

1.使用Sqoop将Mysql中mydb数据库record表里的数据导入到HDFS/mysqoop1目录的一个文件中。（HDFS上的/mysqoop1目录，不需要提前创建）。请给出执行命令。

2.查看HDFS上/mysqoop1目录下的文件内容。请给出hdfs执行命令和运行结果截图。 hdfs dfs -cat /mysqoop1/part-m-00000