Yahoo! Cloud Serving Benchmark (YCSB) 是一个Java语言实现的用于云端或者服务器端的数据库性能测试工具，其内部涵盖了常见的NoSQL数据库产品，如Cassandra、MongoDB、HBase、Redis等等。 这个框架具有很好的可扩展性，可以通过配置文件来指定需要进行什么样的workload的测试，比如读写比例多少，每条记录多大，每个字段多大，并发数多大，进行随机选择使用的分布(比如读一条数据的时候)等。 wget https://github.com/brianfrankc…

对于搭建好的mongodb副本集加分片集群，为了安全，需启动安全认证，使用账号密码登录。 默认的mongodb是不设置认证的。只要ip和端口正确就能连接，这样是不安全的。 mongodb官网声称，为了能保障mongodb的安全可以做以下几个步骤： 1、使用新的端口，默认的27017端口如果一旦知道了ip就能连接上，不太安全 2、设置mongodb的网络环境，最好将mongodb部署到公司服务器内网，这样外网是访问不到的。公司内部访问使用vpn等 3、开启安全认证。认证要同时设置服务器之间的内部认证方式，同时要设置客…

■■ 概述 mongodb是最常用的nosql数据库，以下记录如何搭建高可用mongodb集群（分片+副本） mongodb集群有三种模式：主从模式、副本集模式、sharding分片模式 副本集和sharding分片模式是最广泛使用的方案，这2种方案的选择通过数据量和并发数来权衡：GB级别采用副本集方案，TB级别或以上采用sharding模式，解决单机容量和单机并发能力 sharding模式分片越多，性能自然下降越多 对应社区版本： https://fastdl.mongodb.org/linux/mongodb-…

前期一个项目与外部厂商联调时，由于外部某几个网络环节存在超时或不通的情况，排查到可能需要修改部分网络环节的MSS参数信息，以下对相关操作进行记录，留待后续参考。 0、背景知识 MTU: Maximum Transmission Unit 最大传输单元 MSS: Maximum Segment Size 最大分段大小 一般以太网MTU都为1500, 所以在以太网中, 往往TCP MSS为1460 1、修改方法1---ifconfig # 默认的设置 ifconfig ens192 mtu 1500 # 改为其他值 i…

研发人员在测试大事务提交时遇见了错误： Got error 5 - 'Transaction size exceed set threshold' during COMMIT 测试了几次都是1200S的时候停止的，不过在注释掉特定步骤后，过程还是在1200S失去连接了，不知道这个1200S的执行参数是哪个，可能这个1200s的执行参数是关键，因为看 wsrep_max_ws_size 最大提交量是2G，理论上应该是够用的。 通过以下查询方式，也只能查出这个2G的限制： show variable…

██ 环境准备【所有节点】 ■ 关闭防火墙、selinux systemctl stop firewalld setenforce 0 ■ 关闭 swap swapoff -a fstab 注释掉 swap 的自动挂载 确认 swap 为0 free -m ■ 设置主机名 hostnamectl set-hostname 在master添加hosts： cat >> /etc/hosts << EOF 192.168.222.21 node5 192.168.222.22 node6 192…

在MySQL8.0的一个PXC集群中，默认的sql_mode设置如下： select @@sql_mode; +-----------------------------------------------------------------------------------------------------------------------+ | ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIV…

一、PXC方案概述 Percona XtraDB Cluster (PXC) 是一个完全开源的 MySQL 数据库集群解决方案，它可确保高可用性，防止停机和数据丢失，并为不断增长的环境提供线性可扩展性。它将 Percona Server 和 Percona XtraBackup 与 Galera 库集成在一起，以实现同步多源复制。 集群由节点组成，其中每个节点包含在节点间同步的相同数据集。推荐的配置是至少有 3 个节点，也可以有 2 个节点，但不建议使用2个节点。每个节点都是一个常规的 MySQL Server 实…

一套2节点的MySQL PXC集群，第1节点作为主用节点长时间的dml操作，导致大量的事务阻塞，出现异常，此时查看第2节点显示是primary状态，但无事务阻塞情况。 此时第1节点无法正常提供服务，于是以为第2节点可以作为主节点提供sst数据源来新建第1节点，但清空第1节点开始启动时，却发现无法正常启动sst同步，因为：failed to reach primary view 此时的报错信息详情如下： 2022-03-16T11:28:00.546024Z 0 [ERROR] [MY-000000] [Galera…

为了与MySQL做个对比，做一个PG的数据导入测试，使用COPY方式，测试环境保持一致，具体如下所述。 一、测试环境 ■ 48CPU/376G CPU(s): 48 Thread(s) per core: 2 Core(s) per socket: 12 Socket(s): 2 Model name: Intel(R) Xeon(R) Gold 5118 CPU @ 2.30GHz L1d cache: 32K L1i cache: 32K L2 cache: 1024K L3 cache: 16896K ■ D…