介绍
作为资深DBA同胞,你在工作中是否也有这样的情况呢? 如果公司要搭建一个数据平台,首要任务就是将旧数据库的数据导入到新数据库中。 虽然各种数据库都提供了导入导出的工具,但是数据需要存储在各个地方,比如MongoDB、HBase、MySQL、Oracle等,数据库种类繁多,同步起来有一定的难度。 那么如何做好两个数据库之间、不同类型数据库之间的迁移呢?
今天,小编为大家总结了常用的数据库同步、迁移、转换工具,让大家在需要的时候选择合适的工具完成工作~
1. SQL瑜伽
SQLyog简介
SQLyog是业界知名的Webyog公司出品的一款简单、高效、功能强大的图形化MySQL数据库管理工具。 使用SQLyog可以快速直观地让您从世界的任何角落通过网络维护远程MySQL数据库。 也是我工作中一直在使用的MySQL管理客户端工具。
SQLyog 功能
方便快捷的数据库同步和数据库结构同步工具; 简单易用的数据库和数据表备份与恢复功能; 支持XML、HTML、CSV等格式的数据导入导出; 以极快的速度直接运行批处理SQL脚本文件; 新版本加入强大的数据迁移功能 2.Navicat
Navicat 简介
Navicat 是一套快速、可靠且相对便宜的数据库管理工具。 Navicat 提供多达 7 种语言供客户选择。 它被认为是最流行的数据库前端用户界面工具。 它可用于管理和开发本地或远程 MySQL、SQL Server、SQLite、Oracle 和 PostgreSQL 数据库。
Navicat 支持功能
数据模型数据传输数据同步结构同步导入、导出、备份、恢复、报告创建工具和计划,以协助数据管理 III. 奥托
奥特简介
Otttor是阿里巴巴开源的一款数据同步产品。 它的初衷是为了解决不同国家整个机房的架构都是双A,两边都可以写的问题。 研发时间长达7年,一直延续至今。 目前阿里巴巴B2B中本地/异地机房的同步需求基本都在Otter上。 Otter基于数据库增量日志解析,支持mysql/oracle数据库同步。 在最新的v4.2.13中,已经支持mysql5.7和阿里云提供的RDS数据库。 小编在实际项目中使用过。
水獭特征
基于Canal开源产品获取数据库增量日志数据。 (什么是Canal,详见)。 典型的管理系统架构,manager(web管理)+node(工作节点),manager在运行时将同步配置推送给node节点,node节点将同步状态反馈给manager。 基于zookeeper,解决分布式状态调度,让多node节点协同工作。 (otter节点依赖zookeeper进行分布式调度,需要安装zookeeper节点或集群)。
奥托的工作原理
4. ESF 数据库迁移
ESF 数据库迁移简介
ESF Database Convert 是一款功能强大的商业数据库转换工具。 支持常用数据库之间相互转换。 目前,可以在 Internet 上找到“免费”版本。 如果有不同数据库之间相互转换的需求,可以使用这个工具来解决你的问题。
官方地址是:
ESF 数据库迁移的特点
它支持 Oracle、MySQL、SQL Server、PostgreSQL、Visual Foxpro、FireBird、InterBase、Access、Excel、Paradox、Lotus、dBase、Text 之间的转换…
五、DB2DB
DB2DB 简介
DB2DB是目前经过测试最快最稳定的各种数据库之间数据转换的工具。 支持SQL Server、MySQL、SQLite、Access等数据库类型。 通过这个工具,可以方便快捷地将原有系统部署到不同的数据库甚至云数据库中。 在大数据(千万级以上)的情况下xml文件怎么转换成excel,处理速度比国内外同类软件提高300%以上。 还针对云数据库中使用最多的MySQL数据库进行了优化,使得从源数据库复制到新数据库时保留更多的数据表属性设置。 这大大减少了程序员、DBA、实施人员在迁移大型数据库时等待、测试和调试的时间,减少了企业在转换到新的数据库系统时测试某个系统的人力成本。
官方地址:
DB2DB支持函数
6.水壶
水壶简介
Kettle是一款国外开源的ETL工具,它采用突破性的元数据驱动方式,提供强大的提取、转换和加载(ETL)能力。 可在Windows、Linux、Unix上运行,数据提取高效稳定。 水壶的中文名称是Kettle。 凭借其图形化、拖放式设计环境、可扩展性和数据集成,它越来越成为组织的选择。
水壶特点
Kettle 是一个 ETL 工具集,通过提供一个图形用户环境来描述你想做什么,而不是你想怎么做,它允许你管理来自不同数据库的数据。 Kettle中有两种脚本文件xml文件怎么转换成excel,transformation和job。 Transformation完成数据的基本转换,Job完成对整个工作流的控制。
7.同步导航器
SyncNavigator 简介
号称国内最好用的数据库同步软件,傻瓜式同步数据库。 您只需要设置源数据库和目标数据库的账号和密码即可。 占用内存和CPU资源。 并且还支持异构数据库,也可以同步一些表或者一些字段,可以进行更精确的设置操作。
同步导航器功能
是一款专业的SQLSERVER、MySQL数据库同步软件,为您提供简单、智能的方式来完成复杂的数据库数据同步和分发操作。
8.DataX3.0
DataX3.0 特点
DataX是阿里巴巴集团广泛使用的离线数据同步工具/平台,实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。
DataX3.0 特点
DataX本身作为一个离线数据同步框架,是采用Framework+plugin的架构构建的。 将数据源的读写抽象成一个Reader/Writer插件,融入到整个同步框架中。
支持的数据库:
DataX经过几年的积累,现在已经有了比较完善的插件体系,主流的RDBMS数据库、NOSQL、大数据计算系统都已经打通了。 DataX目前支持以下数据:
如果大家有更好的工具推荐,欢迎在留言区补充哦~