MongoDB性能最佳实践:如何制定更有效的基准测试?

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 感谢你与我们一起走过这段MongoDB性能最佳实践之旅,希望你能从中获取一些有用的信息。

欢迎阅读MongoDB性能最佳实践的系列博文之基准测试篇。

在本系列中,我们从多个重要维度上讨论实现规模化性能的关键因素,包括:

● 数据建模与内存优化

● 查询模式和性能分析

● 索引

● 分片

● 事务和读/写关注

● 硬件和操作系统配置

● 基准测试(本期讨论的内容)

通用基准测试可能会存在误导,并不能代表所有技术以及该技术在特定应用中的性能。

我们建议你根据应用程序实际所使用的数据、查询和部署环境来制定基准测试。

以下注意事项将帮助制定更有效的基准测试。

使用多个并行线程

特别是对于分片集群和某些特定配置(如writeConcern majority)来说,单个操作的延迟可能非常大,因此需要使用多个线程来保证吞吐量。

使用批量写入

同样,为了减少网络往返的开销,你可以使用批量写入一次加载(或更新)多个文档。

在数据加载之前创建Chunks

在创建新的分片集合时,在加载数据之前对chunks进行预分割。如果不进行预分割,数据可能会在加载到一个分片的过程中就被移动到其他分片。通过预分割数据,文档将并行加载到适相应当的分片中。如果你的基准测试不包括范围查询,那么可以使用基于哈希的分片来确保写入和读取的均匀分布。

考虑分片键的顺序

如果你配置了基于范围的分片,并且按分片键对数据进行排序,那么在给定时间内的所有插入操作必然都将进入同一个Chunk的同一个分片。那么添加多个分片就没有意义了,因为在给定时间内只有一个分片处于活跃状态。

你可以通过设计数据加载使得不同的分片键值并行插入到不同的分片中:如果你的数据按分片键顺序排序,那么可以使用基于哈希的分片,确保键值相近的并行插入将被路由到不同的分片。

批量加载时禁用平衡器

在批量加载期间,防止均衡器进行不必要的重新数据平衡,这样可以提高性能。


为系统进行预热数分钟

在用于生产环境的 MongoDB 系统中,工作集应放在内存中,所有读写操作都将在内存中执行。MongoDB必须首先把工作集读到内存中,因此在进行测试之前,先用有代表性的查询对系统进行几分钟的预热,从而更加准确地了解 MongoDB 在生产环境中的性能。

使用连接池

每次操作都重新建立连接需要额外的时间,尤其是在使用 TLS 的情况下。你可以参考官方文档中的连接池选项。

配置 ulimits 同样很重要。

通过监控找到瓶颈

无论是运行基准测试还是生产工作负载,监控部署环境都非常重要。

阿里云MongoDB提供的监控功能可以对实例各节点资源的运行情况进行监控,你可以通过基本监控功能查看常用资源(例如CPU使用率和内存使用率)的运行情况。

同时,阿里云MongoDB 提供的告警功能也支持为实例的重要监控项设置阈值报警规则。当监控项的值不在设置的阈值范围内时,系统会自动向你发出报警通知,提醒您数据异常,帮助您快速定位问题并进行处理。

image.png

图1:以查看某一时间点的监控信息为例

image.png

图2:设置告警规则

性能诊断最佳实践

  • MongoDB实例内存使用率高问题
  • 解决MongoDB实例的CPU使用率高的问题
  • 如何解决MongoDB实例IOPS使用率高的问题
  • MongoDB实例空间使用率高问题

长按复制链接阅读以上操作指南:

https://help.aliyun.com/zh/mongodb/user-guide/best-practices/?spm=a2c4g.11186623.0.0.79084e46YvNiW0


基准性能压测

如果你想进行MongoDB不同规格的基准性能压测,可以参考以下文档:

性能白皮书_云数据库MongoDB 版(MongoDB)-阿里云帮助中心

https://help.aliyun.com/zh/mongodb/support/performance-white-paper/

总结

感谢你与我们一起走过这段MongoDB性能最佳实践之旅,希望你能从中获取一些有用的信息。

阿里云提供了性能诊断与优化的帮助文档,你也可以加入我们的服务钉钉群(MongoDB开发者技术群1群:26895026108 ,MongoDB开发者技术群2群:28325026378)获得更多专家指导。

相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
1天前
|
NoSQL 测试技术 MongoDB
【MongoDB 专栏】MongoDB 的性能基准测试与评估
【5月更文挑战第11天】MongoDB的性能基准测试对于优化至关重要,涉及数据读写速度、查询响应时间及吞吐量等指标。测试应明确目标和范围,选择合适的工具,考虑数据模型、索引、查询优化和系统配置等因素。性能评估需关注读写吞吐量、响应时间和资源利用率。通过多次测试、逐步增加负载和对比其他系统,识别性能瓶颈并持续优化。随着技术发展,测试方法和工具将持续创新,以应对复杂性能挑战。
【MongoDB 专栏】MongoDB 的性能基准测试与评估
|
1天前
|
监控 NoSQL 测试技术
MongoDB性能最佳实践:如何制定更有效的基准测试?
感谢你与我们一起走过这段MongoDB性能最佳实践之旅,希望你能从中获取一些有用的信息
1601 2
|
9月前
|
存储 NoSQL 数据建模
MongoDB性能系列最佳实践-数据建模与内存优化
帮助用户在多个关键方面实现规模化性能优化
MongoDB性能系列最佳实践-数据建模与内存优化
|
12月前
|
SQL 监控 关系型数据库
「性能调优」PostgreSQL扩展到12亿条/月的经验教训
「性能调优」PostgreSQL扩展到12亿条/月的经验教训
|
SQL 存储 关系型数据库
OceanBase 4.0解读:从TPC-H性能测评看4.0与3.x差异
OceanBase 4.0解读:从TPC-H性能测评看4.0与3.x差异
507 0
OceanBase 4.0解读:从TPC-H性能测评看4.0与3.x差异
|
缓存 数据可视化 安全
C++ 最佳实践 | 6. 性能
C++ 最佳实践 | 6. 性能
128 0
|
Java 测试技术 Linux
数据库基准测试自动化(一)
数据库基准测试自动化(一)
72 3
|
消息中间件 缓存 监控
ELK搭建(八):搭建PostgreSQL性能、运行效率监控平台
PostgreSQL作为一款免费、开源、企业级的关系数据库,被越来越多的企业所青睐,上一章我们讲解了如何搭建一个实时监控PostgreSQL慢日志、错误日志的平台,但是针对PostgreSQL的运行性能还无法监控,生产环境中,特别是构建了数据库集群后,我们常常需要了解到各个数据库的运行情况、性能效率等, 这样才能为我们数据库优化、性能优化提供更有力的保障
395 0
ELK搭建(八):搭建PostgreSQL性能、运行效率监控平台
|
存储 NoSQL 算法
开源 SPL 强化 MongoDB 计算
开源 SPL 强化 MongoDB 计算
216 5
开源 SPL 强化 MongoDB 计算
|
SQL 存储 运维
最佳实践—如何优化数据导入导出
数据库实际应用场景中经常需要进行数据导入导出,本文将介绍如何使用数据导入导出工具。
234 0
http://www.vxiaotou.com