文章目录
前言 一、背景 二、映射 Hive HBase MongoDB Oracle PostgreSQL SqlServer Mysql ODPS OSS
总结
前言
datax内置的enumType
数据类型与不同数据库间都有些差异,本文整理出相应的映射关系,在配置自定义json时可以参考做一些类型转换
一、背景
DataX 是阿里云 DataWorks 数据集成的开源版本,它在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。
二、映射
以下是 DataX 与不同数据库间数据类型的映射关系,供配置自定义 JSON 时参考:
Hive
DataX 数据类型 Hive表 数据类型 Long TINYINT, SMALLINT, INT, BIGINT Double FLOAT, DOUBLE String String, CHAR, VARCHAR, STRUCT, MAP, ARRAY, UNION, BINARY Boolean BOOLEAN Date Date, TIMESTAMP
HBase
DataX 数据类型 HBase表 数据类型 Long int, short, long Double float, double String string, binarystring Boolean boolean Date date
MongoDB
DataX 数据类型 MongoDB表 数据类型 Long int, Long Double double String string, array Boolean boolean Date date Bytes bytes
Oracle
DataX 数据类型 Oracle表 数据类型 Long NUMBER, INTEGER, INT, SMALLINT Double NUMERIC, DECIMAL, FLOAT, DOUBLE PRECISION, REAL String LONG, CHAR, NCHAR, VARCHAR, VARCHAR2, NVARCHAR2, CLOB, NCLOB, CHARACTER, CHARACTER VARYING, CHAR VARYING, NATIONAL CHARACTER, NATIONAL CHAR, NATIONAL CHARACTER VARYING, NATIONAL CHAR VARYING, NCHAR VARYING Boolean bit, bool Date TIMESTAMP, DATE Bytes BLOB, BFILE, RAW, LONG RAW
PostgreSQL
DataX 数据类型 PostgreSQL表 数据类型 Long bigint, bigserial, integer, smallint, serial Double double precision, money, numeric, real String nvarchar, char, text, bit, inet Boolean bool Date date, time, timestamp Bytes bytea
SqlServer
DataX 数据类型 SqlServer表 数据类型 Long bigint, int, smallint, tinyint Double float, decimal, real, numeric String char, nchar, ntext, nvarchar, text, varchar, nvarchar(MAX), varchar(MAX) Boolean bit Date date, datetime, time Bytes binary, varbinary, varbinary(MAX), timestamp
Mysql
DataX 数据类型 Mysql表 数据类型 Long int, tinyint, smallint, mediumint, int, bigint, year Double float, double, decimal String nvarchar, char, tinytext, text, mediumtext, longtext Boolean bit, bool Date date, datetime, timestamp, time Bytes tinyblob, mediumblob, blob, longblob, varbinary
ODPS
DataX 数据类型 ODPS表 数据类型 Long BIGINT Double DOUBLE String STRING Boolean Boolean Date DATETIME
OSS
DataX 数据类型 OSS表 数据类型 Long Long Double Double String String Boolean Boolean Date Date
总结
如果此篇文章有帮助到您, 希望打大佬们能关注
、点赞
、收藏
、评论
支持一波,非常感谢大家! 如果有不对的地方请指正!!!
参考1