实现 MongoDB Cluster-to-Cluster 即集群同步的工具是：mongosync 详情可参考如下官方文档： https://www.mongodb.com/zh-cn/docs/cluster-to-cluster-sync/current/quickstart/ 以上这个地址的文档一看就是机器翻译的，可能有不恰当的地方，但基本可参考使用。 以下是本次在某项目地配置集群同步的简要步骤，可参考使用。 一、首先在目的集群安装同步工具mongosync 本次使用的是版本匹配的1.5.0版本： https…
■■ 集群启动步骤 1、先启动各节点的 config server mongod -f ${MongoDir}/conf/config.conf 2、再启动各节点的 shard server mongod -f ${MongoDir}/conf/shard1.conf 3、再启动各节点的 mongos server mongos -f ${MongoDir}/conf/mongos.conf ■■ 集群停止步骤 停止服务的顺序是先停止mongos服务，再停止其它服务 ■ 简易方式：直接在各节点killall如下进程…
结合我们的生产需求，本次详细整理了最新版本 MonogoDB 7.0 集群的规划及部署过程，具有较大的参考价值，基本可照搬使用。 适应数据规模为T级的场景，由于设计了分片支撑，后续如有大数据量需求，可分片横向扩展。 ■■■ 分片集群规划 ■ Configure hostname、hosts file、ip address vim /etc/hosts 7.7.7.11 node1 7.7.7.12 node2 7.7.7.13 node3 注：规划、实施、运维均采用host解析的方式判定各个节点，因此需确保该配置文…
首先说一下这个3节点MongoDB集群各个维度的数据规模： 1、dataSize: 1.9T 2、storageSize: 600G 3、全量备份-加压缩开关：186G，耗时 8h 4、全量备份-不加压缩开关：1.8T，耗时 4h27m 具体导出的语法比较简单，此处不再赘述，本文重点描述导入的优化过程，最后给出导入的最佳实践。 ■ 2023-09-13T20:00 第1次4并发导入测试 mongorestore --port=20000 -uadmin -p'passwd' --authenti…
MongoDB一个广为诟病的问题是，大量数据resotore时索引重建非常缓慢，实测5000万的集合如果有3个以上的索引需要恢复，几乎没法成功，而且resotore时如果选择创建索引也会存在索引不生效的问题，种种情况表明，MongoDB的一些默认设置存在明显不合理之处。 当然，深入理解后总会有办法解决这些问题，MongoDB发展到金，功能也是越来全面。 一、对于小数据量collection，可直接单命令行创建索引 类似如下操作： db.getCollection('processDataObj').createIn…
一、远程连接导出报错超时 mongodump -h 10.110.63.150:27017 -u'admin' -p'passwd!' --authenticationDatabase flowtest --db flowtest -o /home/mongod/bak > mongodump.log 2>&1 & 导出报错： 2022-11-17T18:58:54.663+0800 [###############.........] flowt…
■■ shard2副本无法启动 ■ 项目人员反馈集群的shard2副本无法启动 看了下，shard2副本能正常起来，但是过会儿以后就down掉，shard2的主节点日志显示shard2副本启动时马上进入 ROLLBACK 回滚状态： 2022-09-14T15:58:08.833+0800 I REPL [replexec-1] Member node3:27002 is now in state ROLLBACK 3分钟之后，shard2的主节点日志显示shard2副本 DOWN: 2022-09-14T16:0…
Yahoo! Cloud Serving Benchmark (YCSB) 是一个Java语言实现的用于云端或者服务器端的数据库性能测试工具，其内部涵盖了常见的NoSQL数据库产品，如Cassandra、MongoDB、HBase、Redis等等。 这个框架具有很好的可扩展性，可以通过配置文件来指定需要进行什么样的workload的测试，比如读写比例多少，每条记录多大，每个字段多大，并发数多大，进行随机选择使用的分布(比如读一条数据的时候)等。 wget https://github.com/brianfrankc…
对于搭建好的mongodb副本集加分片集群，为了安全，需启动安全认证，使用账号密码登录。 默认的mongodb是不设置认证的。只要ip和端口正确就能连接，这样是不安全的。 mongodb官网声称，为了能保障mongodb的安全可以做以下几个步骤： 1、使用新的端口，默认的27017端口如果一旦知道了ip就能连接上，不太安全 2、设置mongodb的网络环境，最好将mongodb部署到公司服务器内网，这样外网是访问不到的。公司内部访问使用vpn等 3、开启安全认证。认证要同时设置服务器之间的内部认证方式，同时要设置客…
■■ 概述 mongodb是最常用的nosql数据库，以下记录如何搭建高可用mongodb集群（分片+副本） mongodb集群有三种模式：主从模式、副本集模式、sharding分片模式 副本集和sharding分片模式是最广泛使用的方案，这2种方案的选择通过数据量和并发数来权衡：GB级别采用副本集方案，TB级别或以上采用sharding模式，解决单机容量和单机并发能力 sharding模式分片越多，性能自然下降越多 对应社区版本： https://fastdl.mongodb.org/linux/mongodb-…