GV

GeezerVison

The World Wide Web, restored to 800 pixels of glory.

Home|About|Gaming cabinet|Archives|How it works|Starter sites

On this site

  • Sign in
  • ActionsCI/CD and automation
  • CodespacesCloud development environments
  • All Features
  • Documentation
  • Training
  • Certifications
  • Build with Copilot
  • Customize Copilot
  • Integrations
  • Trending repos
  • GitHub Sponsors
  • Developer articles
  • Enterprises

This view

  • Original page
  • New address

GeezerVison is showing github.com — GitHub - HashDataInc/DataX: DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。

BranchesTags
Open more actions menu
 
 

Latest commit

 

History

143 Commits
143 Commits

Folders and files

NameName
Last commit message
Last commit date
adswriter
adswriter
 
 
common
common
 
 
core
core
 
 
drdsreader
drdsreader
 
 
drdswriter
drdswriter
 
 
elasticsearchwriter
elasticsearchwriter
 
 
ftpreader
ftpreader
 
 
ftpwriter
ftpwriter
 
 
gpdbjsonwriter
gpdbjsonwriter
 
 
gpdbwriter
gpdbwriter
 
 
hbase094xreader
hbase094xreader
 
 
hbase094xwriter
hbase094xwriter
 
 
hbase11xreader
hbase11xreader
 
 
hbase11xsqlwriter
hbase11xsqlwriter
 
 
hbase11xwriter
hbase11xwriter
 
 
hbasereader
hbasereader
 
 
hbasewriter
hbasewriter
 
 
hdfsreader
hdfsreader
 
 
hdfswriter
hdfswriter
 
 
images
images
 
 
mongodbjsonreader
mongodbjsonreader
 
 
mongodbreader
mongodbreader
 
 
mongodbwriter
mongodbwriter
 
 
mysqlreader
mysqlreader
 
 
mysqlwriter
mysqlwriter
 
 
ocswriter
ocswriter
 
 
odpsreader
odpsreader
 
 
odpswriter
odpswriter
 
 
oraclereader
oraclereader
 
 
oraclewriter
oraclewriter
 
 
ossreader
ossreader
 
 
osswriter
osswriter
 
 
otsreader
otsreader
 
 
otsstreamreader
otsstreamreader
 
 
otswriter
otswriter
 
 
plugin-rdbms-util
plugin-rdbms-util
 
 
plugin-unstructured-storage-util
plugin-unstructured-storage-util
 
 
postgresqlreader
postgresqlreader
 
 
postgresqlwriter
postgresqlwriter
 
 
rdbmsreader
rdbmsreader
 
 
rdbmswriter
rdbmswriter
 
 
rpm
rpm
 
 
sqlserverreader
sqlserverreader
 
 
sqlserverwriter
sqlserverwriter
 
 
streamreader
streamreader
 
 
streamwriter
streamwriter
 
 
transformer
transformer
 
 
txtfilereader
txtfilereader
 
 
txtfilewriter
txtfilewriter
 
 
.gitignore
.gitignore
 
 
README
README
 
 
README.md
README.md
 
 
datax-opensource-dingding.png
datax-opensource-dingding.png
 
 
introduction.md
introduction.md
 
 
license.txt
license.txt
 
 
package.xml
package.xml
 
 
pom.xml
pom.xml
 
 
userGuid.md
userGuid.md
 
 

Repository files navigation

Datax-logo

DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

Features

DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

DataX详细介绍

请参考:DataX-Introduction

Quick Start

Download DataX下载地址
请点击:Quick Start

Support Data Channels

DataX目前已经有了比较全面的插件体系,主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入,目前支持数据如下图,详情请点击:DataX数据源参考指南

类型 数据源 Reader(读) Writer(写) 文档
RDBMS 关系型数据库 MySQL √ √ 读 、写
            Oracle         √         √     读 、写
SQLServer √ √ 读 、写
PostgreSQL √ √ 读 、写
DRDS √ √ 读 、写
达梦 √ √ 读 、写
通用RDBMS(支持所有关系型数据库) √ √ 读 、写
阿里云数仓数据存储 ODPS √ √ 读 、写
ADS √ 写
OSS √ √ 读 、写
OCS √ √ 读 、写
NoSQL数据存储 OTS √ √ 读 、写
Hbase0.94 √ √ 读 、写
Hbase1.1 √ √ 读 、写
MongoDB √ √ 读 、写
Hive √ √ 读 、写
无结构化数据存储 TxtFile √ √ 读 、写
FTP √ √ 读 、写
HDFS √ √ 读 、写
Elasticsearch √ 写

我要开发新的插件

请点击:DataX插件开发宝典

项目成员

核心Contributions: 光戈、一斅、祁然、云时

感谢天烬、巴真、静行对DataX做出的贡献。

License

This software is free to use under the Apache License Apache license.

请及时提出issue给我们。请前往:DataxIssue

开源版DataX企业用户

Datax-logo

长期招聘 联系邮箱:[email protected]
【JAVA开发职位】
职位名称:JAVA资深开发工程师/专家/高级专家
工作年限 : 2年以上
学历要求 : 本科(如果能力靠谱,这些都不是条件)
期望层级 : P6/P7/P8

岗位描述:
    1. 负责阿里云大数据平台(数加)的开发设计。 
    2. 负责面向政企客户的大数据相关产品开发;
    3. 利用大规模机器学习算法挖掘数据之间的联系,探索数据挖掘技术在实际场景中的产品应用 ;
    4. 一站式大数据开发平台
    5. 大数据任务调度引擎
    6. 任务执行引擎
    7. 任务监控告警
    8. 海量异构数据同步

岗位要求:
    1. 拥有3年以上JAVA Web开发经验;
    2. 熟悉Java的基础技术体系。包括JVM、类装载、线程、并发、IO资源管理、网络;
    3. 熟练使用常用Java技术框架、对新技术框架有敏锐感知能力;深刻理解面向对象、设计原则、封装抽象;
    4. 熟悉HTML/HTML5和JavaScript;熟悉SQL语言;
    5. 执行力强,具有优秀的团队合作精神、敬业精神;
    6. 深刻理解设计模式及应用场景者加分;
    7. 具有较强的问题分析和处理能力、比较强的动手能力,对技术有强烈追求者优先考虑;
    8. 对高并发、高稳定可用性、高性能、大数据处理有过实际项目及产品经验者优先考虑;
    9. 有大数据产品、云产品、中间件技术解决方案者优先考虑。

钉钉用户请扫描以下二维码进行讨论:

DataX-OpenSource-Dingding

About

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。

Resources

Readme
License
Activity
Custom properties

Stars

139 stars

Watchers

11 watching

Forks

70 forks
Report repository

Releases

Packages

Used by

Contributors

Languages

You are visitor 01402503 — GeezerVison does not store the pages you look up.
Best viewed with Netscape Navigator 4.7 or Internet Explorer 6 at 800×600. No cookies required.