一、使用 SQL Developer 将第三方数据库迁移到 Oracle，迁移过程涉及以下步骤 1、创建迁移资料档案库以便保存有关迁移项目的信息。 2、创建用作迁移容器的迁移项目。 3、选择第三方数据库连接。 4、将第三方元信息捕获至迁移资料档案库。 5、将捕获的元信息转换为 Oracle 特定的元信息。 6、将存储程序，触发器，视图等翻译为 Oracle 形式。 7、生成 Oracle 数据库创建脚本。 8、将数据从第三方数据库移到 Oracle 数据库。 1. 删除之前的迁移资料库 为充分能完成迁移，不知数据库…
之前文章已详细描述了PBM的安装和入门使用，结论是可大幅提升大数据量的备份效率，本文结合一线 MongoDB 集群的实际部署现状，详细记录使用 PBM 进行物理备份和恢复的操作步骤，供一线直接参考使用。 一、Make a physical backup 配置好 pbm 以后，物理备份非常简单： pbm backup --type=physical 二、Restore from a physical backup 1、恢复之前首先确认当前的备份集： Backup snapshots: 2025-12-10T08:22…
项目地大量使用社区版MongoDB数据库，用来存放重要工单数据，随着业务量增长，数据规模越来越大，每天的备份任务执行时间越来越长。目前某项目地数据规模统计如下： [mongod@mongodb02 mongodb]$ du -sh * 16K conf 13G config 45G mongos 1.4T shard1 0 shard2 0 shard3 [mongos] flowtest> show dbs admin 204.00 KiB config 37.21 MiB flowtest 1.37 Ti…
借本次数据库迁移实践，再次总结一下MySQL数据库迁移到PXC的最佳操作路径。 1、源数据库配置 xtrabackup 工具，快速备份源数据到nfs； 2、目的数据库集群配置最新版本的 MySQL PXC 集群软件； 3、目的数据库集群节点 node1 采用 xtrabackup 导入备份数据； 4、使用合适的配置文件在 node1 拉起数据库； 5、node2 加入集群，node3 加入集群。 以上1、2步比较简单，在此略过，以下强调后面的步骤，请项目参考使用。 三、node1 导入备份数据 ■ 准备数据路径 m…
首先说一下这个3节点MongoDB集群各个维度的数据规模： 1、dataSize: 1.9T 2、storageSize: 600G 3、全量备份-加压缩开关：186G，耗时 8h 4、全量备份-不加压缩开关：1.8T，耗时 4h27m 具体导出的语法比较简单，此处不再赘述，本文重点描述导入的优化过程，最后给出导入的最佳实践。 ■ 2023-09-13T20:00 第1次4并发导入测试 mongorestore --port=20000 -uadmin -p'passwd' --authenti…
MongoDB一个广为诟病的问题是，大量数据resotore时索引重建非常缓慢，实测5000万的集合如果有3个以上的索引需要恢复，几乎没法成功，而且resotore时如果选择创建索引也会存在索引不生效的问题，种种情况表明，MongoDB的一些默认设置存在明显不合理之处。 当然，深入理解后总会有办法解决这些问题，MongoDB发展到金，功能也是越来全面。 一、对于小数据量collection，可直接单命令行创建索引 类似如下操作： db.getCollection('processDataObj').createIn…
MySQL不同于oracle，没有闪回查询这类概念，但网上流传几个闪回的开源工具如 binglog2sql、MyFlash，可以使用binglog日志进行误操作数据的恢复。 笔者以前测试过 binglog2sql，发现安装配置比较复杂不太友好。 本次测试了下 MyFlash 这个开源工具，发现相对简单易用，特此做一个使用记录。 MyFlash是由美团点评公司技术工程部开发维护的一个回滚DML操作的工具。该工具通过解析v4版本的binlog，完成回滚操作。相对已有的回滚工具，其增加了更多的过滤选项，让回滚更加容易。 …
为了与MySQL做个对比，做一个PG的数据导入测试，使用COPY方式，测试环境保持一致，具体如下所述。 一、测试环境 ■ 48CPU/376G CPU(s): 48 Thread(s) per core: 2 Core(s) per socket: 12 Socket(s): 2 Model name: Intel(R) Xeon(R) Gold 5118 CPU @ 2.30GHz L1d cache: 32K L1i cache: 32K L2 cache: 1024K L3 cache: 16896K ■ D…
接上文，本次在较高性能的X86物理机上，做真实生产环境的大数据量导入测试。 一、测试环境 ■ CPU是24核，每核2线程，即48CPU $ lscpu Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Byte Order: Little Endian CPU(s): 48 On-line CPU(s) list: 0-47 Thread(s) per core: 2 Core(s) per socket: 12 座： 2 NUMA 节点： 2 厂商 ID： G…
接上文，继续测试3000万条记录快速导入数据库。 一、导入前1000万条数据 清库、建库、新建表结构、导入前1000万条数据，结果： ■ 1000万行，有2索引导入耗时：16分钟 Query OK, 9999966 rows affected, 5920 warnings (16 min 12.95 sec) Records: 9999966 Deleted: 0 Skipped: 0 Warnings: 5920 可见，导入千万条数据，性能下降明显。 二、导入前2000万条数据 清库、建库、新建表结构、导入前20…