MySQL不同于oracle，没有闪回查询这类概念，但网上流传几个闪回的开源工具如 binglog2sql、MyFlash，可以使用binglog日志进行误操作数据的恢复。 笔者以前测试过 binglog2sql，发现安装配置比较复杂不太友好。 本次测试了下 MyFlash 这个开源工具，发现相对简单易用，特此做一个使用记录。 MyFlash是由美团点评公司技术工程部开发维护的一个回滚DML操作的工具。该工具通过解析v4版本的binlog，完成回滚操作。相对已有的回滚工具，其增加了更多的过滤选项，让回滚更加容易。 …

为了与MySQL做个对比，做一个PG的数据导入测试，使用COPY方式，测试环境保持一致，具体如下所述。 一、测试环境 ■ 48CPU/376G CPU(s): 48 Thread(s) per core: 2 Core(s) per socket: 12 Socket(s): 2 Model name: Intel(R) Xeon(R) Gold 5118 CPU @ 2.30GHz L1d cache: 32K L1i cache: 32K L2 cache: 1024K L3 cache: 16896K ■ D…

接上文，本次在较高性能的X86物理机上，做真实生产环境的大数据量导入测试。 一、测试环境 ■ CPU是24核，每核2线程，即48CPU $ lscpu Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Byte Order: Little Endian CPU(s): 48 On-line CPU(s) list: 0-47 Thread(s) per core: 2 Core(s) per socket: 12 座： 2 NUMA 节点： 2 厂商 ID： G…

接上文，继续测试3000万条记录快速导入数据库。 一、导入前1000万条数据 清库、建库、新建表结构、导入前1000万条数据，结果： ■ 1000万行，有2索引导入耗时：16分钟 Query OK, 9999966 rows affected, 5920 warnings (16 min 12.95 sec) Records: 9999966 Deleted: 0 Skipped: 0 Warnings: 5920 可见，导入千万条数据，性能下降明显。 二、导入前2000万条数据 清库、建库、新建表结构、导入前20…

对于传统的关系数据库如oracle，在大量数据导入方面的效率，我们一般有一个大概的认知，即1分钟以内可以导入千万条数据，而对于MySQL数据库，普遍观点以为性能相对较差，尤其时对于千万级别的数据量，几十分钟、几个小时，都是可能的。是否如此，本文会给出答案。 在普遍去IOE的今天，最难的去O也已经势在必行，所以探讨测试一下MySQL的大数据量导入非常有必要。事实上我们的各个新建项目由于采用了MySQL数据库，在备份恢复时，便会面临大量数据的逻辑导出与导入需求。 恰好笔者手头有一个3000多万行的数据记录，SQL文本格…

在一个低配MySQL数据库（笔记本电脑虚机环境，虚机配置2CPU/3G内存），在3000万级别的大量数据LOAD DATA方式导入时，坚持一小时后，终于被KO了，甚至没写下任何有用的日志，只是在操作界面报错： ERROR 2013 (HY000): Lost connection to MySQL server during query 再次重启，漫长的半小时时间，遇见这个activating状态： [root@node1:1 ~]# systemctl status mysql ● mysql.service -…

接上文，单节点升级到80版本之后，构建新版本的80集群就水到渠成、相对简单了，详情可参见之前的集群构建博文。 本文在修改配置集群的新参数时，修改了pxc_strict_mode为默认的ENFORCING，注释掉skip_ssl以支持SSL加密同步传输。 donor节点的日志如下： 2021-12-07T12:21:56.351545Z 0 [Note] [MY-000000] [WSREP-SST] Streaming the backup to joiner at 10.124.206.18 4444 2021-…

本文主要记录57版本升级80版本的过程，供参考。 ■ 57版本升级80版本注意事项 默认字符集由latin1变为utf8mb4 MyISAM系统表全部换成InnoDB表 sql_mode参数默认值变化，8.0版本sql_mode不支持 NO_AUTO_CREATE_USER，要避免配置的sql_mode中带有 NO_AUTO_CREATE_USER 密码认证插件变更，由于默认密码策略变更，为了避免连接问题，可仍采用5.7的mysql_native_password认证插件 关于系统表升级，在MySQL 8.0.16…

一个5.7版本的MySQL单点数据库，版本信息是： Server version: 5.7.31-log MySQL Community Server (GPL) 数据量已达到760G，日常存在性能问题，需迁移到PXC集群，由于之前几年实施使用的都是8.0版本PXC集群，这次也想当然的想直接迁移到PXC8.0。 鉴于数据量比较巨大，采用mysqldump的方式显然是不可行的，实际上项目反馈也是无法用mysqldump备份成功，mysqldump备份几百兆、几个G还是可行的，但是面对上百G的数据量已经无能为力。好在p…

某项目一个11g的老库集群3节点已运行多年，目前有一个adg备库用于读写分离。由于使用的老存储已无法扩容，主磁盘组空间捉襟见肘，不得已借用多次FRA的空间用于扩容表空间。 为临时解决空间不足的现状，临时申请1台物理主机新构建adg用于替换原有adg备库，释放存储给主集群。 新申请的主机测试不充分，后期发现与主集群之间带宽仅有50-60MB/s，为后期实施带来了困难，同时新主机未能提供同版本的CentOS6.5，而是7.4，也为后续实施造成了麻烦，尽管解决掉了问题，但是不得不说，这些时间浪费成本也不低。 本次采用du…