实现 MongoDB Cluster-to-Cluster 即集群同步的工具是:mongosync 详情可参考如下官方文档: https://www.mongodb.com/zh-cn/docs/cluster-to-cluster-sync/current/quickstart/ 以上这个地址的文档一看就是机器翻译的,可能有不恰当的地方,但基本可参考使用。 以下是本次在某项目地配置集群同步的简要步骤,可参考使用。 一、首先在目的集群安装同步工具mongosync 本次使用的是版本匹配的1.5.0版本: https…

2024年4月18日 0条评论 378点热度 0人点赞 liking 阅读全文

■■ 集群启动步骤 1、先启动各节点的 config server mongod -f ${MongoDir}/conf/config.conf 2、再启动各节点的 shard server mongod -f ${MongoDir}/conf/shard1.conf 3、再启动各节点的 mongos server mongos -f ${MongoDir}/conf/mongos.conf ■■ 集群停止步骤 停止服务的顺序是先停止mongos服务,再停止其它服务 ■ 简易方式:直接在各节点killall如下进程…

2023年10月23日 0条评论 748点热度 0人点赞 liking 阅读全文

结合我们的生产需求,本次详细整理了最新版本 MonogoDB 7.0 集群的规划及部署过程,具有较大的参考价值,基本可照搬使用。 适应数据规模为T级的场景,由于设计了分片支撑,后续如有大数据量需求,可分片横向扩展。 ■■■ 分片集群规划 ■ Configure hostname、hosts file、ip address vim /etc/hosts 7.7.7.11 node1 7.7.7.12 node2 7.7.7.13 node3 注:规划、实施、运维均采用host解析的方式判定各个节点,因此需确保该配置文…

2023年10月11日 0条评论 916点热度 2人点赞 liking 阅读全文

首先说一下这个3节点MongoDB集群各个维度的数据规模: 1、dataSize: 1.9T 2、storageSize: 600G 3、全量备份-加压缩开关:186G,耗时 8h 4、全量备份-不加压缩开关:1.8T,耗时 4h27m 具体导出的语法比较简单,此处不再赘述,本文重点描述导入的优化过程,最后给出导入的最佳实践。 ■ 2023-09-13T20:00 第1次4并发导入测试 mongorestore --port=20000 -uadmin -p'passwd' --authenti…

2023年10月8日 0条评论 780点热度 0人点赞 liking 阅读全文

MongoDB一个广为诟病的问题是,大量数据resotore时索引重建非常缓慢,实测5000万的集合如果有3个以上的索引需要恢复,几乎没法成功,而且resotore时如果选择创建索引也会存在索引不生效的问题,种种情况表明,MongoDB的一些默认设置存在明显不合理之处。 当然,深入理解后总会有办法解决这些问题,MongoDB发展到金,功能也是越来全面。 一、对于小数据量collection,可直接单命令行创建索引 类似如下操作: db.getCollection('processDataObj').createIn…

2023年10月8日 0条评论 684点热度 0人点赞 liking 阅读全文

一、远程连接导出报错超时 mongodump -h 10.110.63.150:27017 -u'admin' -p'passwd!' --authenticationDatabase flowtest --db flowtest -o /home/mongod/bak > mongodump.log 2>&1 & 导出报错: 2022-11-17T18:58:54.663+0800 [###############.........] flowt…

2022年11月18日 0条评论 591点热度 0人点赞 liking 阅读全文

■■ shard2副本无法启动 ■ 项目人员反馈集群的shard2副本无法启动 看了下,shard2副本能正常起来,但是过会儿以后就down掉,shard2的主节点日志显示shard2副本启动时马上进入 ROLLBACK 回滚状态: 2022-09-14T15:58:08.833+0800 I REPL [replexec-1] Member node3:27002 is now in state ROLLBACK 3分钟之后,shard2的主节点日志显示shard2副本 DOWN: 2022-09-14T16:0…

2022年9月15日 0条评论 685点热度 1人点赞 liking 阅读全文

Yahoo! Cloud Serving Benchmark (YCSB) 是一个Java语言实现的用于云端或者服务器端的数据库性能测试工具,其内部涵盖了常见的NoSQL数据库产品,如Cassandra、MongoDB、HBase、Redis等等。 这个框架具有很好的可扩展性,可以通过配置文件来指定需要进行什么样的workload的测试,比如读写比例多少,每条记录多大,每个字段多大,并发数多大,进行随机选择使用的分布(比如读一条数据的时候)等。 wget https://github.com/brianfrankc…

2022年8月17日 0条评论 583点热度 1人点赞 liking 阅读全文

对于搭建好的mongodb副本集加分片集群,为了安全,需启动安全认证,使用账号密码登录。 默认的mongodb是不设置认证的。只要ip和端口正确就能连接,这样是不安全的。 mongodb官网声称,为了能保障mongodb的安全可以做以下几个步骤: 1、使用新的端口,默认的27017端口如果一旦知道了ip就能连接上,不太安全 2、设置mongodb的网络环境,最好将mongodb部署到公司服务器内网,这样外网是访问不到的。公司内部访问使用vpn等 3、开启安全认证。认证要同时设置服务器之间的内部认证方式,同时要设置客…

2022年8月17日 0条评论 676点热度 0人点赞 liking 阅读全文

■■ 概述 mongodb是最常用的nosql数据库,以下记录如何搭建高可用mongodb集群(分片+副本) mongodb集群有三种模式:主从模式、副本集模式、sharding分片模式 副本集和sharding分片模式是最广泛使用的方案,这2种方案的选择通过数据量和并发数来权衡:GB级别采用副本集方案,TB级别或以上采用sharding模式,解决单机容量和单机并发能力 sharding模式分片越多,性能自然下降越多 对应社区版本: https://fastdl.mongodb.org/linux/mongodb-…

2022年8月6日 0条评论 1122点热度 1人点赞 liking 阅读全文