概览 本手册基于华为云文档数据库服务实践所编写，用于指导您完成相关设置，购买更符合业务的数据库实例。 服务 章节名称 简介 文档数据库服务 安全最佳实践 介绍在DDS使用过程中的安全最佳实践，旨在为提高整体安全能力提供可操作的规范性指导。 连接DDS实例的常用方式 介绍DDS的常用连接方式。 其他云MongoDB迁移到DDS 介绍DDS数据迁移的操作。 本地MongoDB迁移到DDS E CS 自建MongoDB迁移DDS 如何实现副本集高可用和读写分离 介绍如何连接副本集实例以实现高可用性能。 通过设置数据分片提升性能 介绍如何设置集群分片来提高数据库性能。 如何通过SQL优化来提升DDS性能 介绍DDS的使用建议。 如何规避dds mongos路由缓存缺陷 介绍如何规避集群mongos路由缓存缺陷。 排查DDS实例CPU使用率高的问题 介绍如何排查CPU使用率高的问题。 排查DDS实例内存占用较高的问题 介绍如何排查内存占用高的问题。 排查DDS实例连接数耗尽的问题 介绍如何排查连接数耗尽的问题。 创建用户并授权使用DDS只读权限 介绍如何通过 IAM 授权DDS只读权限。 合理使用DDL(Data Definition Languages)语句 介绍数据库中存储实体的语言，例如创建、修改和删除数据库、集合的结构。

URI URI格式 GET https://{Endpoint}/v3/{project_id}/instances/{instance_id}/databases?offset={offset}&limit={limit} URI样例 https://dds.cn-north-1.myhuaweicloud.com/v3/0549b4a43100d4f32f51c01c2fe4acdb/instances/659914406d2c4c76bce6a028ce8d8e0din02/databases?offset=1&limit=10

响应消息 参数说明 表2 响应Body参数 名称 参数类型 描述 databases Array of 表1-5 objects 工作流ID。 total_count Integer 总数。 表3 databases 参数 参数类型 描述 name String 数据库名称, config admin 库不做展示。 data_size String 数据库存储大小（以GB为单位）,保留两位小数。存储大小: 实际磁盘上占用的物理空间大小，包括数据文件、日志文件、索引文件等。 storage_size String 数据库逻辑大小（以GB为单位）,保留两位小数。逻辑大小指的是数据库中实际存储的数据大小，不包括索引大小、日志大小等。 collection_num Integer 数据库中的集合数。 响应示例 { "databases" : [ { "name" : "dds-test", "data_size" : "3593", "storage_size" : "256", "collection_num" : "5" } ], "total_count" : 1 }

内核版本说明 本章节介绍文档数据库服务DDS的内核版本更新说明，补丁升级不会影响任何功能和接口。 表1 文档数据库服务DDS5.0版本说明 版本 日期 说明 5.0 2024年9月 支持重启时跳过索引重建，并在副本集索引不一致时自动修复。 oldestTsWindow支持最大值设置到100秒。 $setWindowFields聚合阶段支持$sum, $shift, $last, $first算子。 rocksdb blob 参数支持在线热修改。 2024年8月 支持$sortArray算子。 修复备份后磁盘小概率暴涨问题。 优化heapprofile的输出和统计方式。 索引命中优化。 修复mongotop采集config db时延不准确问题。 修复频繁创表删表的场景下，top命令有可能造成内存冲高问题。 2024年7月 修复只读节点ip错误导致客户的客户端不识别问题。 $graphLookup支持分片表。 表2 文档数据库服务DDS4.4版本说明 版本 日期 说明 4.4 2024年9月 支持重启时跳过索引重建，并在副本集索引不一致时自动修复。 oldestTsWindow支持最大值设置到100秒。 频繁创表删表场景下小概率OOM问题修复。 2024年8月 修复备份后磁盘小概率暴涨问题 。 优化heapprofile的输出和统计方式。 索引命中优化。 修复mongotop采集config db时延不准确问题。 2024年7月 修复只读节点ip错误导致客户的客户端不识别问题。 支持时间漫游快照。 $graphLookup支持分片表。 2024年6月 lookup支持指定pipeline时，同时指定localField和foreignField。 修复setLogLevel屏蔽存储层信息日志的问题。 update支持hint指定索引。 2024年5月 优化changestream CPU资源占用。 优化备份期间删表可能造成的备份出错问题。 db.currentOp()命令查询结果添加effectiveUsers字段。 支持mongo exporter。 2024年4月 $lookup支持目标为分片表。 changestream支持$startAfter。 优化分布式事务在shard主备倒换场景下的表现。 2024年3月 修复了setWindowFields输出的字段缺失问题。 2024年2月 changeStream读取性能优化。 优化了过期oplog数据的清理性能。 修复了geoNear在执行explain()时的展示缺失问题。 2024年1月 修复了正则匹配时出现的概率性失效问题。 2023年12月 优化了单文档查性能。 限制reIndex危险命令的执行权限。 2023年11月 修复了内存监控功能，在命令执行后结果内容展示缺失的问题。 2023年10月 优化了ServerStatus命令获取锁的方式。 修复了节点选举时出现的概率性失效问题。 2023年9月 支持在多文档事务中创建索引和创建集合操作。 支持设置单个集合的autosplit属性。 修复了创建稀疏索引并用字段值null去查询时，与MongoDB官方4.4表现不一致的问题。 2023年8月 增加主动限制连接数能力。 兼容支持Parallel Change Stream特性。 修复了禁止读写时，在集群实例上仍可以执行聚合命令的问题。 优化了慢日志捕捉方式。 2023年7月 存储引擎压缩算法优化。 CreateIndex命令自动路由到主节点执行。 被动Compact同步逻辑优化。 2023年5月 serverStatus中的oplogTruncation项新增 totalTimeProcessingMicros、processingMethod、totalTimeTruncatingMicros、truncateCount统计。 2023年4月 优化了事务执行逻辑。 2023年3月 新增存储故障自动切换特性。 副本集支持defaultReadWriteConcern特性。 集群支持PITR特性。 2023年1月 tcmalloc内存管理策略优化。 支持分布式大事务。 2022年11月 新增compound hash index特性。 新增mutable shard key values特性。 兼容支持mirrored reads特性。 表3 文档数据库服务DDS4.2版本说明 版本 日期 说明 4.2 2024年9月 支持重启时跳过索引重建，并在副本集索引不一致时自动修复。 oldestTsWindow支持最大值设置到100秒。 频繁创表删表场景下小概率OOM问题修复。 2024年8月 修复备份后磁盘小概率暴涨问题。 优化heapprofile的输出和统计方式。 索引命中优化。 修复mongotop采集config db时延不准确问题。 2024年7月 修复只读节点ip错误导致客户的客户端不识别问题。 支持时间漫游快照。 2024年6月 修复setLogLevel命令屏蔽存储层信息日志的问题。 2024年5月 优化changestream CPU资源占用。 db.currentOp()命令查询结果添加effectiveUsers字段。 支持mongo exporter。 2024年4月 优化分布式事务在shard主备倒换场景下的表现。 2024年3月 兼容支持startAfter特性。 2024年2月 changeStream读取性能优化。 优化了过期oplog数据的清理性能。 修复了geoNear在执行explain()时的展示缺失问题。 2024年1月 修复了正则匹配时出现的概率性失效问题。 2023年12月 优化了单文档查询性能。 限制reIndex危险命令的执行权限。 2023年11月 修复了内存监控功能，在命令执行后结果内容展示缺失的问题。 2023年10月 优化了ServerStatus命令获取锁的方式。 修复了节点选举时出现的概率性失效问题。 2023年9月 支持在多文档事务中创建索引和创建集合操作。 支持设置单个集合的autosplit属性。 2023年8月 增加主动限制连接数能力。 修复了有锁情况下部分会话概率性killPending的问题。 优化了慢日志捕捉方式。 2023年7月 存储引擎压缩算法优化。 CreateIndex命令自动路由到主节点执行。 被动Compact同步逻辑优化。 修复MongoDB开源社区问题SERVER-39044导致的系统session表概率性刷新失败。 2023年6月 优化副本集针对10KB文档执行update操作的性能。 修复SERVER-37408漏洞。 修复SERVER-39074漏洞。 2023年5月 修复主备倒换后writeConcern错误码匹配问题。 2023年4月 优化了事务执行逻辑。 修复了带参数执行dropIndexes()与MongoDB官方4.2表现不一致的问题。 修复了在emrc=true并且dirty Cache升高时，重启较慢的问题。 2023年3月 新增存储故障自动切换特性。 降低主备复制延迟。 集群支持PITR特性。 2023年1月 支持分布式大事务。 修复SERVER-42518漏洞。 修复SERVER-37686漏洞。 2022年11月 修复了MongoDB Compass通过SSL连接概率性出现失败的问题。 修复了find查询字段为null时，与MongoDB官方4.2表现不一致的问题。 2022年10月 新增索引一致性检查特性。 修复CVE-2020-7921漏洞。 2022年9月 创建索引调整为默认后台创建。 开放replSetGetConfig命令。 2022年6月 支持zstd压缩算法。 mongos支持releaseFreeMemory命令。 表4 文档数据库服务DDS4.0版本说明 版本 日期 说明 4.0 2024年9月 优化heapprofile的输出和统计方式。 支持重启时跳过索引重建，并在副本集索引不一致时自动修复。 频繁创表删表场景下小概率OOM问题修复。 2024年8月 索引命中优化。 修复mongotop采集config db时延不准确问题。 2024年7月 修复只读节点ip错误导致客户的客户端不识别问题。 2024年6月 适配mongo exporter。 2024年5月 无。 2024年4月 无。 2024年3月 无。 2024年2月 修复了geoNear在执行explain()时的展示缺失问题。 2024年1月 修复了正则匹配时出现的概率性失效问题。 2023年12月 优化了单文档查询性能。 限制reIndex危险命令的执行权限。 2023年11月 无。 2023年10月 优化了ServerStatus命令获取锁的方式。 修复了节点选举时出现的概率性失效问题。 2023年9月 resizeOplog逻辑优化。 2023年8月 修复了禁止读写时，在集群实例上仍可以执行聚合命令的问题。 修复了有锁情况下部分会话概率性killPending的问题。 优化了慢日志捕捉方式。 2023年7月 CreateIndex命令自动路由到主节点执行。 被动Compact同步逻辑优化。 修复MongoDB开源社区问题SERVER-39044导致的系统session表概率性刷新失败。 修复Robot 3T登录集群实例，在默认设置readPreference为secondaryPreferred时，创建索引会提示NotMaster的问题。 2023年6月 提供不检查密码复杂度的开关参数enableCheckPassword。 优化索引删除步骤，提高索引删除效率。 2023年5月 修复SERVER-37408漏洞。 修复SERVER-39074漏洞。 2023年4月 修复了带参数执行dropIndexes()与MongoDB官方4.2表现不一致的问题。 修复了在emrc=true并且dirty Cache升高时，重启较慢的问题。 2023年3月 新增存储故障自动切换特性。 修复CVE-2018-20805漏洞。 2023年1月 修复SERVER-42518漏洞。 修复SERVER-37686漏洞。 2022年11月 修复了MongoDB Compass通过SSL连接概率性出现失败的问题。 2022年10月 新增索引一致性检查特性。 修复CVE-2020-7921漏洞。 2022年7月 创建索引调整为默认后台创建。 开放replSetGetConfig命令。 2022年6月 mongos支持releaseFreeMemory命令。 表5 文档数据库服务DDS3.4版本说明 版本 日期 说明 3.4 2024年9月 无。 2024年8月 无。 2024年7月 无。 2024年6月 无。 2024年5月 无。 2024年4月 优化聚合查询，$project支持新增映射字段。 2024年3月 无。 2024年2月 无。 2024年1月 无。 2023年12月 限制reIndex危险命令的执行权限。 2023年11月 无。 2023年10月 优化了ServerStatus命令获取锁的方式 。 2023年9月 慢日志信息细化。 2023年8月 修复了禁止读写时，在集群实例上仍可以执行聚合命令的问题。 修复了有锁情况下部分会话概率性killPending的问题。 优化了慢日志捕捉方式。 2023年7月 ReleaseFreeMemory同步到3.4版本。 2023年5月 修复SERVER-37408漏洞。 修复SERVER-39074漏洞。 2023年4月 修复了集群中config备节点上activeSession更新不及时的问题。 2023年3月 新增存储故障自动切换特性。 修复CVE-2018-20805漏洞。 2023年1月 修复SERVER-42518漏洞。 修复SERVER-37686漏洞。 2022年10月 修复CVE-2020-7921漏洞。 修复heapprofile的值显式不正确的问题。 2022年7月 修复弱密码校验问题。 2022年6月 mongos日志信息脱敏。 父主题： 产品发布说明

对冲读（Hedged Reads） 页面响应速度直接影响用户使用体验，和经济效益息息相关。如果一个网页的加载时间超过3秒，那么用户的跳出率会大幅上升。针对这类问题，DDS 4.4版本提供了对冲读（Hedged Reads）的能力，意即在DDS分片集群中，mongos节点会把一个客户端的读请求同时发送给某个Shard分片的多个副本集节点，最后选择响应最快节点的返回结果回复给客户端，来减少业务侧感知到的延迟。 您可以通过配置Read Preference参数来使用对冲读（Hedged Reads）功能，因此可以针对每一个具体的Operation进行配置。 当Read Preference配置为nearest时，默认开启对冲读（Hedged Reads）功能； 当Read Preference配置为primary时，不支持对冲读（Hedged Reads）； 当Read Preference指定为其他参数时，需要显示地指明hedgeOptions才会启用对冲读功能。 例如： db.collection.find({ }).readPref( "secondary", // mode设置 [ { "usage": "read" }, { } ], // tag标签 { enabled: true } // hedgeOptions开关 )

可变分片键（Mutable Shard Keys） 在DDS分片集群中，一个好的Shard key至关重要，因为它决定了分片集群在指定的Workload（工作量）下是否有良好的扩展性。但是在实际使用DDS的过程中，即使我们事先仔细斟酌了要选择的Shard Key，也会因为Workload的变化而导致出现Jumbo Chunk（超过预设大小的Chunk），或者业务流量都打向单一分片的情况。 在上一版本4.2中，虽然允许修改Shard key的Value，但是数据的跨分片迁移由于其基于分布式事务的实现机制，导致整个过程性能开销很大，不能很好的解决访问热点或者Jumbo Chunk问题。针对这类问题，在4.4版本中，您可以通过refineCollectionShardKey命令给现有的Shard Key增加一到多个Suffix Field来改善现有数据在Chunk上的分布情况。并且，由于refineCollectionShardKey命令不涉及任何形式的数据迁移，因此性能开销非常低。不过由于Shard Key需要相应的Index支持，因此在执行refineCollectionShardKey命令前，请提前创建新Shard Key所对应的Index。 以下操作演示了如何在DDS 4.4集群实例上使用可变分片键功能： 使用shardCollection命令，将test库下的coll集合按照customer_id字段进行范围分片（Range based sharding）： use admin db.adminCommand({ shardCollection: "test.coll", key: { "customer_id": 1 } }) 为了将coll集合的分片键调整为customer_id字段和order_id字段，即{ "customer_id": 1, "order_id": 1 }，首先需要创建对应索引： use test db.coll.createIndex({ "customer_id": 1, "order_id": 1 }) 之后使用refineCollectionShardKey命令添加order_id作为一个Suffix Field，来改变分片键（命令执行完成后可以使用sh.status()命令验证修改结果）： use admin db.adminCommand( { refineCollectionShardKey: "test.coll", key: { customer_id: 1, order_id: 1 } } )

复合哈希分片键（Compound Hashed Shard Keys） 在4.4以前的版本中，当您指定哈希分片键时，只能指定单字段的哈希分片键，但是长期以往很容易导致集合数据在分片上分布不不均。 在最新的4.4版本中支持了复合哈希索引，意即您可以在复合索引中指定单个哈希字段，可以作为前缀也可以作为后缀，位置不限，由此来支持复合哈希分片键。 参考用法如下： sh.shardCollection( "test.coll", { "fieldA" : 1, "fieldB" : 1, "fieldC" : "hashed" } //哈希字段作为后缀 ) sh.shardCollection( "test.coll", { "_id" : "hashed", "fieldA" : 1} //哈希字段作为前缀 ) 这种灵活的复合哈希索引具有很多优点，消解很多库表设计的复杂性，例如：当集合指定的片键值是逐渐递增的，并且业务总是会访问那些最新加入数据，这会导致大部分的流量打向同一分片。在没有复合哈希分片键的情况下，需要先针对被访问的字段进行哈希值的计算，将结果作为特殊字段存放在文档中，然后再通过范围分片的方式指定其作为片键来解决这类问题。 但是在新版本中，直接把目标字段指定为哈希索引，即可轻松解决上述问题，极大简化了业务逻辑。

默认读写关注（Default Read and Write Concerns） 在4.4以前的版本中，当要执行的操作没有显示指定readConcern或writeConcern时，会有默认行为。例如：readConcern默认为local，writeConcern默认为{w: 1}。但这个默认行为是不可以变更的，有时会带来不必要的麻烦。如果用户希望保证数据的强一致性，让所有的insert操作的writeConcern默认为{w: majority}，令所有的read操作的readConcern默认为majority，那么只能在所有访问DDS的代码中来显示指定这个配置。 但在4.4新版本中，您可以通过setDefaultRWConcern命令来配置全局默认的readConcern和writeConcern，例如： db.adminCommand({ "setDefaultRWConcern" : 1, "defaultWriteConcern" : { "w" : "majority" }, "defaultReadConcern" : { "level" : "majority" } }) 您也可以通过getDefaultRWConcern命令获取当前默认的readConcern和writeConcern。

其他易用性增强 Jumbo Chunk自动均衡。 在之前版本出现Jumbo Chunk问题时，通常只能通过手动迁移Chunk解决，而在4.4新版本中支持Jumbo Chunk的自动迁移与平衡，该功能全程后台进行，减少了不必要的告警，缓解了运维人员的压力，让数据库具有更强的健壮性。 分布式事务支持单一文档大小超过16MB。 在之前的版本中，当您尝试插入大于16MB的文档或尝试以使其超过16MB的方式更新现有文档的时，DDS服务器将返回错误。而在4.4版本中，DDS对于分布式事务放开了这一限制，以更加适应实际业务需求。 projection增强。 DDS 4.4版本完全兼容MongoDB 4.4版本的projection新语法和用法，例如： projection中目前现在可以支持聚合语法，例如使用聚合算子等功能。 projection中支持使用json嵌套格式对指定字段进行映射。 projection中支持使用$符指定映射数组元素的具体index的子元素。 find命令添加allowDiskUse选项。 在DDS 4.4之前的版本，如果数据库在处理排序操作时超过内存使用限制，则具有阻塞排序的查找操作将失败。而在4.4版本中，find命令可以使用临时文件来支持大型无索引排序，当allowDiskUse选项为true时，find命令针对超过内存限制100MB的无索引（阻塞）排序操作，会使用磁盘上的临时文件。 参考用法： db.coll.find({"location" : "unit12" }) .sort({"time" : 1}) .allowDiskUse()

DDS各版本的生命周期规划 在正式EOM/EOS前会发布公告，在此期间客户可以通过 数据复制服务 将版本在EOS之前切换到高版本。 EOM：End of Marketing，停止该版本的销售。 EOS：End of Service & support，停止该版本的服务，建议您在执行作业时选择最新版本的引擎。在该日期之后，不再提供该软件版本的任何技术服务支持。 表1 DDS各版本生命周期规划表 版本 当前状态 计划EOM时间 计划EOS时间 社区增强版3.4 已下线 - - 3.2 已下线 - - 3.4 商用 2023年6月 2025年6月 4.0 商用 2025年4月 2027年4月 4.2 商用 2026年4月 2028年4月 4.4 商用 2027年4月 2029年4月 5.0 副本集已商用，集群公测 暂无计划 暂无计划

推荐阅读 什么是DDS 华为云DDS（Document Database Service）文档数据库服务，兼容MongoDB协议，具备安全审计、多账号管理、时间点备份恢复等能力，支持集群、副本集和单节点部署架构。详情请见什么是文档数据库服务。 DDS4.4优质特性推广 本次发布的DDS4.4版本是一个增强已有能力、提高可用性的版本，主要新增优质特性如下： 可变分片键 在上一版本4.2中，虽然Shard Key的Value可以修改，但是数据的跨分片迁移由于基于分布式事务实现，整个过程性能开销极大，不能很好的解决访问热点或Jumbo Chunk的问题。对这类问题，在4.4版本中，您可以通过refineCollectionShardKey命令给现有的Shard Key增加一到多个Suffix Field来改善现有数据在Chunk上的分布情况。并且，由于refineCollectionShardKey命令不涉及任何形式的数据迁移，因此性能开销非常低。 对冲读 为了缩短响应时间，DDS4.4版本提供了对冲读的能力，即在DDS分片集群中，mongos节点会把一个客户端的读请求同时发给某个分片的多个副本集节点，选择响应最快的节点的返回结果回复客户端，减少业务侧感知到的延迟。 复杂哈希片键 在以前的版本中，只能指定单个字段的哈希分片键，长期以往很容易导致集合数据在分片上分布不均匀。 在最新的4.4版本中支持了复合哈希索引，意即您可以在复合索引中指定单个哈希字段，可以作为前缀也可以作为后缀，位置不限，进而为使用复合哈希分片键提供了支持。 这种灵活的复合哈希索引具有很多优点，消解很多库表设计的复杂性，例如：当集合指定的片键值是逐渐递增的，并且业务总是会访问那些最新加入数据，这会导致大部分的流量打向同一分片。 更多新特性请参见DDS4.4重要特性概述。 DDS及MongoDB版本特性及兼容性等内容请参见兼容性详情。

上线规格 表1 副本集 架构 节点数 CPU类型 规格类型 CPU和内存 副本集 三节点 x86 增强Ⅱ型 2核16GB 副本集 三节点 x86 增强Ⅱ型 4核32GB 副本集 三节点 x86 增强Ⅱ型 8核64GB 副本集 三节点 x86 增强Ⅱ型 16核128GB 副本集 三节点 x86 增强Ⅱ型 32核256GB 副本集 五节点 x86 增强Ⅱ型 2核16GB 副本集 五节点 x86 增强Ⅱ型 4核32GB 副本集 五节点 x86 增强Ⅱ型 8核64GB 副本集 五节点 x86 增强Ⅱ型 16核128GB 副本集 五节点 x86 增强Ⅱ型 32核256GB 副本集 七节点 x86 增强Ⅱ型 2核16GB 副本集 七节点 x86 增强Ⅱ型 4核32GB 副本集 七节点 x86 增强Ⅱ型 8核64GB 副本集 七节点 x86 增强Ⅱ型 16核128GB 副本集 七节点 x86 增强Ⅱ型 32核256GB 表2 集群 架构 组件 CPU类型 规格类型 CPU和内存 集群 shard x86 增强Ⅱ型 2核16GB 集群 shard x86 增强Ⅱ型 4核32GB 集群 shard x86 增强Ⅱ型 8核64GB 集群 shard x86 增强Ⅱ型 16核128GB 集群 shard x86 增强Ⅱ型 32核256GB

URI URI格式 GET https://{Endpoint}/v3/{project_id}/datastores/{datastore_name}/versions URI样例 https://dds.cn-north-1.myhuaweicloud.com/v3/0549b4a43100d4f32f51c01c2fe4acdb/datastores/DDS-Community/versions

响应消息 参数说明 表2 参数说明 名称 参数类型 是否必选 描述 versions Array of strings 是 数据库版本。支持5.0、4.4、4.2、4.0、3.4版本，取值为“5.0”、“4.4”、“4.2”、“4.0”、“3.4”。 响应示例 { "versions": [ "3.4", "4.0", "4.2", "4.4", "5.0" ] }

请求消息 请求参数 表1 请求参数 名称 类型 IN 必选 描述 x-auth-token string header 是 从IAM服务获取的用户Token。请参考认证鉴权。 project_id string path 是 租户在某一Region下的项目ID。请参考获取项目ID章节获取项目编号。 datastore_name string path 是 数据库版本类型。取值为“DDS-Community”。