之前文章已详细描述了PBM的安装和入门使用，结论是可大幅提升大数据量的备份效率，本文结合一线 MongoDB 集群的实际部署现状，详细记录使用 PBM 进行物理备份和恢复的操作步骤，供一线直接参考使用。 一、Make a physical backup 配置好 pbm 以后，物理备份非常简单： pbm backup --type=physical 二、Restore from a physical backup 1、恢复之前首先确认当前的备份集： Backup snapshots: 2025-12-10T08:22…
项目地大量使用社区版MongoDB数据库，用来存放重要工单数据，随着业务量增长，数据规模越来越大，每天的备份任务执行时间越来越长。目前某项目地数据规模统计如下： [mongod@mongodb02 mongodb]$ du -sh * 16K conf 13G config 45G mongos 1.4T shard1 0 shard2 0 shard3 [mongos] flowtest> show dbs admin 204.00 KiB config 37.21 MiB flowtest 1.37 Ti…
实现 MongoDB Cluster-to-Cluster 即集群同步的工具是：mongosync 详情可参考如下官方文档： https://www.mongodb.com/zh-cn/docs/cluster-to-cluster-sync/current/quickstart/ 以上这个地址的文档一看就是机器翻译的，可能有不恰当的地方，但基本可参考使用。 以下是本次在某项目地配置集群同步的简要步骤，可参考使用。 一、首先在目的集群安装同步工具mongosync 本次使用的是版本匹配的1.5.0版本： https…
■■ 集群启动步骤 1、先启动各节点的 config server mongod -f ${MongoDir}/conf/config.conf 2、再启动各节点的 shard server mongod -f ${MongoDir}/conf/shard1.conf 3、再启动各节点的 mongos server mongos -f ${MongoDir}/conf/mongos.conf ■■ 集群停止步骤 停止服务的顺序是先停止mongos服务，再停止其它服务 ■ 简易方式：直接在各节点killall如下进程…
结合我们的生产需求，本次详细整理了最新版本 MonogoDB 7.0 集群的规划及部署过程，具有较大的参考价值，基本可照搬使用。 适应数据规模为T级的场景，由于设计了分片支撑，后续如有大数据量需求，可分片横向扩展。 ■■■ 分片集群规划 ■ Configure hostname、hosts file、ip address vim /etc/hosts 7.7.7.11 node1 7.7.7.12 node2 7.7.7.13 node3 注：规划、实施、运维均采用host解析的方式判定各个节点，因此需确保该配置文…
首先说一下这个3节点MongoDB集群各个维度的数据规模： 1、dataSize: 1.9T 2、storageSize: 600G 3、全量备份-加压缩开关：186G，耗时 8h 4、全量备份-不加压缩开关：1.8T，耗时 4h27m 具体导出的语法比较简单，此处不再赘述，本文重点描述导入的优化过程，最后给出导入的最佳实践。 ■ 2023-09-13T20:00 第1次4并发导入测试 mongorestore --port=20000 -uadmin -p'passwd' --authenti…
MongoDB一个广为诟病的问题是，大量数据resotore时索引重建非常缓慢，实测5000万的集合如果有3个以上的索引需要恢复，几乎没法成功，而且resotore时如果选择创建索引也会存在索引不生效的问题，种种情况表明，MongoDB的一些默认设置存在明显不合理之处。 当然，深入理解后总会有办法解决这些问题，MongoDB发展到金，功能也是越来全面。 一、对于小数据量collection，可直接单命令行创建索引 类似如下操作： db.getCollection('processDataObj').createIn…
一、远程连接导出报错超时 mongodump -h 10.110.63.150:27017 -u'admin' -p'passwd!' --authenticationDatabase flowtest --db flowtest -o /home/mongod/bak > mongodump.log 2>&1 & 导出报错： 2022-11-17T18:58:54.663+0800 [###############.........] flowt…
■■ shard2副本无法启动 ■ 项目人员反馈集群的shard2副本无法启动 看了下，shard2副本能正常起来，但是过会儿以后就down掉，shard2的主节点日志显示shard2副本启动时马上进入 ROLLBACK 回滚状态： 2022-09-14T15:58:08.833+0800 I REPL [replexec-1] Member node3:27002 is now in state ROLLBACK 3分钟之后，shard2的主节点日志显示shard2副本 DOWN: 2022-09-14T16:0…
Yahoo! Cloud Serving Benchmark (YCSB) 是一个Java语言实现的用于云端或者服务器端的数据库性能测试工具，其内部涵盖了常见的NoSQL数据库产品，如Cassandra、MongoDB、HBase、Redis等等。 这个框架具有很好的可扩展性，可以通过配置文件来指定需要进行什么样的workload的测试，比如读写比例多少，每条记录多大，每个字段多大，并发数多大，进行随机选择使用的分布(比如读一条数据的时候)等。 wget https://github.com/brianfrankc…