DataX的环境搭建以及简单测试

什么是DataX

DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、 HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
（这是一个单机多任务的ETL工具）

下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

一、前置条件

　　JDK(1.8以上，推荐1.8)
　　Python(推荐Python2.6.X)
　　Apache Maven 3.x (Compile DataX)
查看自有版本是否符合要求（下面附上安装链接）
JDK版本查看

java -version

Python版本查看（通常虚拟机自带版本2.x）

python --version

Maven版本查看

mvn -v

安装链接

安装JDK：https://blog.csdn.net/qq_32786873/article/details/78749384
安装python：https://www.cnblogs.com/MWCloud/p/11354591.html
安装maven：https://www.howtoing.com/install-apache-maven-on-centos-7

二、开始安装

1.下载DataX安装包：https://github.com/alibaba/DataX/blob/master/userGuid.md
2.用Xftp将安装包传输至 usr/local 目录下
3.解压

tar -zxvf datax.tar.gz

4.进入datax的bin目录下，自检脚本

cd /usr/local/datax/bin
python datax.py ../job/job.json

出现以下界面，则表示DataX安装成功

安装失败

第一个错误：命令提示符界面出现出现乱码。

解决方法：

可以在cmd中输入： CHCP 65001 （切换为UTP8编码-65001 (UTF-8)），然后进行后续操作。

第二个错误：print的问题

  File "datax.py", line 114print readerRef^
SyntaxError: Missing parentheses in call to 'print'. Did you mean print(readerRef)?

python版本错误，把高版本的python切换至2.6或2.7

2.7下载地址: https://www.python.org/ftp/python/2.7/python-2.7.amd64.msi

第三个问题：连接mysql

2020-10-28 08:02:46.914 [job-0] WARN  DBUtil - test connection of [jdbc:mysql://localhost:3306/ssm] failed, for Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络 环境).].  -  具体错误信息为：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
2020-10-28 08:02:46.918 [job-0] ERROR RetryUtil - Exception when calling callable, 异常Msg:DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。2) 配置的username/password错误，鉴权失败。请和DBA确认该数据库的 连接信息是否正确。
java.lang.Exception: DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。2) 配置的username/password错误，鉴权失败。请和DBA确认该数据库的连接信息是否正确。at com.alibaba.datax.plugin.rdbms.util.DBUtil$2.call(DBUtil.java:71) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.plugin.rdbms.util.DBUtil$2.call(DBUtil.java:51) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.common.util.RetryUtil$Retry.call(RetryUtil.java:164) ~[datax-common-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.common.util.RetryUtil$Retry.doRetry(RetryUtil.java:111) ~[datax-common-0.0.1-SNAPSHOT.jar:na]

解决方法：

查看MySQL驱动包
把mysql-connector-java-5.1.34.jar 修改为
mysql-connector-java-8.0.18.jar
添加?serverTimezone=UTC

jdbc.url=jdbc:mysql://localhost:3306/ssm?serverTimezone=UTC

完美结果：

020-10-28 08:19:36.780 [job-0] INFO  OriginalConfPretreatmentUtil - Available jdbcUrl:jdbc:mysql://localhost:3306/ssm?serverTimezone=UTC&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true.
2020-10-28 08:19:36.836 [job-0] INFO  OriginalConfPretreatmentUtil - table:[menu] has columns:[id,name,pid].
2020-10-28 08:19:36.900 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
2020-10-28 08:19:36.900 [job-0] INFO  JobContainer - DataX Reader.Job [mysqlreader] do prepare work .
2020-10-28 08:19:36.902 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] do prepare work .
2020-10-28 08:19:36.906 [job-0] INFO  JobContainer - jobContainer starts to do split ...
2020-10-28 08:19:36.907 [job-0] INFO  JobContainer - Job set Channel-Number to 3 channels.
2020-10-28 08:19:36.936 [job-0] INFO  SingleTableSplitUtil - split pk [sql=SELECT MIN(id),MAX(id) FROM menu] is running...

第四个错误 mysql2mysql

首先也要更新驱动

2020-10-28 09:59:52.876 [job-0] ERROR RetryUtil - Exception when calling callable, 即将尝试执行第1次重试.本次重试计划等待[1000]ms,实际等待[1001]ms, 异常Msg:[Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).].  -  具体错误信息为：java.sql.SQLException: No suitable driver found for ["jdbc:mysql://localhost:3306/ssm?serverTimezone=UTC&useUnicode=true&characterEncoding=gbk"]&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true]

把

                        "jdbcUrl": ["jdbc:mysql://localhost:3306/ssm?serverTimezone=UTC&useUnicode=true&characterEncoding=utf8"]

修改为

                        "jdbcUrl": "jdbc:mysql://localhost:3306/ssm?serverTimezone=UTC&useUnicode=true&characterEncoding=utf8"

测试：利用DataX同步数据

配置测试样例：下面我们配置一组 从mysql数据库到另一个mysql数据库。

配置测试样例：下面我们配置一组 从mysql数据库到另一个mysql数据库。

第一步创建作业的配置文件(json格式)

{"job": {"content": [{"reader": {"name": "mysqlreader","parameter": {"column": ["id","name"],"connection": [{"jdbcUrl": ["jdbc:mysql://192.168.155.56:3306/test"],"table": ["test"]}],"username": "root","password": "123456",}},"writer": {"name": "mysqlwriter","parameter": {"column": ["id","name","age"],"connection": [{"jdbcUrl": "jdbc:mysql://192.168.155.58/test","table": ["YOUR_TABLE"]}],"username": "root","password": "123456",}}}],"setting": {"speed": {"channel": 1}}}
}

cd {YOUR_DATAX_DIR_BIN}
python datax.py ../job/mysql2mysql.json

"speed": {"channel": 8,    ----并发数限速（根据自己CPU合理控制并发数）"byte": 524288,  ----字节流限速（根据自己的磁盘和网络合理控制字节数）"record": 10000  ----记录流限速（根据数据合理空行数）
}