接上文，本次在较高性能的X86物理机上，做真实生产环境的大数据量导入测试。 一、测试环境 ■ CPU是24核，每核2线程，即48CPU $ lscpu Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Byte Order: Little Endian CPU(s): 48 On-line CPU(s) list: 0-47 Thread(s) per core: 2 Core(s) per socket: 12 座： 2 NUMA 节点： 2 厂商 ID： G…

接上文，继续测试3000万条记录快速导入数据库。 一、导入前1000万条数据 清库、建库、新建表结构、导入前1000万条数据，结果： ■ 1000万行，有2索引导入耗时：16分钟 Query OK, 9999966 rows affected, 5920 warnings (16 min 12.95 sec) Records: 9999966 Deleted: 0 Skipped: 0 Warnings: 5920 可见，导入千万条数据，性能下降明显。 二、导入前2000万条数据 清库、建库、新建表结构、导入前20…

对于传统的关系数据库如oracle，在大量数据导入方面的效率，我们一般有一个大概的认知，即1分钟以内可以导入千万条数据，而对于MySQL数据库，普遍观点以为性能相对较差，尤其时对于千万级别的数据量，几十分钟、几个小时，都是可能的。是否如此，本文会给出答案。 在普遍去IOE的今天，最难的去O也已经势在必行，所以探讨测试一下MySQL的大数据量导入非常有必要。事实上我们的各个新建项目由于采用了MySQL数据库，在备份恢复时，便会面临大量数据的逻辑导出与导入需求。 恰好笔者手头有一个3000多万行的数据记录，SQL文本格…

在一个低配MySQL数据库（笔记本电脑虚机环境，虚机配置2CPU/3G内存），在3000万级别的大量数据LOAD DATA方式导入时，坚持一小时后，终于被KO了，甚至没写下任何有用的日志，只是在操作界面报错： ERROR 2013 (HY000): Lost connection to MySQL server during query 再次重启，漫长的半小时时间，遇见这个activating状态： [root@node1:1 ~]# systemctl status mysql ● mysql.service -…

某项目扩展表空间后增加了一个数据文件，出现数据库无法连接的情况，项目人员联系主机硬件厂家，对方发了几个图片说空间不足了，项目人员于是说按照对方说法在主机删除了对应数据文件，这次更无法启动数据库了，，，，，真是无知者无畏，对方敢让删数据文件，项目人员也赶删，实在是无语至极！ 这个表空间已有53个数据文件，这次按序号增加的是54号数据文件，之后又在os层面执行了rm操作，且重启了主机，恢复这个文件是基本没有希望了。 查看数据库日志，如下： Fri Jan 21 16:46:00 2022 ALTER TABLESPAC…

一个PXC 8.0.23集群，因为项目操作导致无法提供服务了，提示信息为： ERROR 1047 (08S01): WSREP has not yet prepared node for application use 或者 2013 - Lost connection to MySQL server during query 登录各个节点查看集群wsrep_cluster_size均为0，节点状态wsrep_cluster_status都不是Primary状态（好像是not connected），查看grasta…

一、概念 1、加密有两种类型 密钥加密(secret-key encryption)使用相同的密钥进行加密和解密，也叫对称加密 公钥加密(public-key encryption)使用不同的密钥进行加密和解密，也叫非对称加密 密钥加密速度更快，公钥加密更加安全，因为它解决了安全共享密钥的问题 2、公钥加密使用两组密钥，称为密钥对 一个是公钥，用于加密，可以与你想要秘密通信的任何人自由共享、交换； 一个是私钥，用于解密，应该是一个秘密，永远不会共享。 如你想与别人交流敏感文件，可将你的公钥发送给他，他使用公钥加密文…

sftp 是 Secure File Transfer Protocol 的缩写，即安全文件传送协议，可为传输文件提供一种安全的加密方法。 sftp 为 SSH 的一部分，由于这种传输方式使用了加密/解密技术，所以传输效率比普通的 FTP 要低，如果对网络安全性要求高，可使用 SFTP 代替 FTP。 因为安全需要，有时需要配置sshd以使得只允许sftp登录，而同时不允许ssh直接登录。 以下操作步骤在CentOS 7.6实际测试通过，可放心参考使用。 ■ 添加用户组sftpgroup groupadd sftp…

有时需要批量收集数据库的统计信息，如在大量数据迁移或大量数据更新以后，但是收集的时间可能会较长，为了避免网络中断等意外情况可能引起的麻烦，今天调试了这个小脚本，可以分用户批量执行，同时记录执行时间等日志信息，比较实用。 执行方式： sh /tmp/gather_schema_stats.sh syspasswd ip port service "schema1 schema2" degree& 详见以下代码： cat > /tmp/gather_schema_stats.sh 'GATH…

■■ Oracle ADDM简介 ADDM全称是Automatic Database Diagnostic Monitor，是Oracle实现性能自我诊断的最佳利器。它依赖于AWR，我们知道AWR会自动收集整个数据库在运行期间的性能统计数据。 更多关于ADDM的知识不是本文的重点，你完全可以网搜一大堆详细的介绍、报告解读资料。 ■■ 自制ADDM报告生成工具 数据库自带的报告生成工具有一些依赖条件，使用比较繁琐，而且报告名字不易于区分、分发。 所以一直想写一个简单、易用的ADDM报告工具，今天终于把这个工具编写、调…