华为云用户手册

背景信息 只有拥有DAYU Administrator或Tenant Administrator权限的用户才可以购买 DataArts Studio 实例或DataArts Studio增量包。如需购买，您需要给用户授予所需的权限。 Tenant Administrator策略具有所有云服务的管理员权限（除 IAM 管理权限之外），为安全起见，一般不建议给IAM用户授予该权限，请谨慎操作。 只有拥有Security Administrator权限的用户才创建云服务委托。云服务委托可将相关云服务的操作权限委托给DataArts Studio，让DataArts Studio以您的身份使用这些云服务，代替您进行一些任务调度、资源运维等工作。

购买数据服务专享集群 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面，参见表2进行配置。 表2 购买数据服务专享版实例参数说明 参数项 说明 增量包类型 选择数据服务专享集群增量包。 计费方式 实例收费方式，当前支持“包年包月”。 工作空间 选择需要使用数据服务专享集群增量包的工作空间。例如需要在DataArts Studio实例的工作空间A中使用数据服务专享版，则此处工作空间应选择为A。集群购买成功后，即可通过在工作空间A查看到创建好的数据服务专享集群。 可用区 第一次购买DataArts Studio实例或批增量包时，可用区无要求。 再次购买DataArts Studio实例或增量包时，是否将资源放在同一可用区内，主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力，建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低，则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 集群名称 - 集群描述 可以自定义对当前数据服务专享版集群的描述。 版本 当前数据服务专享版的集群版本。 集群规格 不同实例规格，对API数量的支持能力不同。 公网入口 开启“公网入口”，即允许外部服务通过公网地址，调用专享版实例创建的API。 带宽大小 可配置公网带宽范围。 虚拟私有云 DataArts Studio实例中的数据服务专享版集群所属的VPC、子网、安全组。 在相同VPC、子网、安全组中的云服务资源（如E CS ），可以使用数据服务专享版实例的私有地址调用API。建议将专享版集群和您的其他关联业务配置一个相同的VPC、子网、安全组，确保网络安全的同时，方便网络配置。 VPC、子网、安全组的详细操作，请参见《虚拟私有云用户指南》。 说明： 目前专享版集群创建完成后不支持切换VPC、子网、安全组，请谨慎选择。 如果开启公网入口，安全组入方向需要放开80（HTTP）和443（HTTPS）端口的访问权限。 此处支持选择共享VPC子网，即由VPC的所有者将VPC内的子网共享给当前账号，由当前账号在购买数据服务专享版集群时选择共享VPC子网。通过共享VPC子网功能，可以简化网络配置，帮助您统一配置和运维多个账号下的资源，有助于提升资源的管控效率，降低运维成本。如何共享VPC子网，请参考《共享VPC》。 子网 安全组 企业项目 DataArts Studio专享版集群关联的企业项目。企业项目管理是一种按企业项目管理云资源的方式，具体请参见企业管理用户指南。 节点数量 - 购买时长 - 单击“立即购买”，确认规格后提交。

套餐包方式购买数据集成集群 如果您希望享受“套餐包”的优惠价格，您需要先购买一个“套餐包”增量包，再购买一个和“套餐包”增量包具有相同区域和规格的“按需计费”增量包。 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面，按照如下配置： 增量包类型：选择批量数据迁移增量包。 计费方式：选择套餐包。 购买时长：表示此套餐包的有效时长。 购买数量：表示购买套餐包的数量。例如当购买时长选择1个月，购买数量选择2，那么您将拥有1490小时的额度，有效期是1个月。 单击“立即购买”，确认规格后提交订单。 购买套餐包成功后，系统不会自动创建数据集成集群。此时您还需要参考按需计费方式购买数据集成集群再购买一个和“套餐包”具有相同区域和规格的“按需计费”增量包，创建成功后您即可享受套餐包的优惠价格。

按需计费方式购买数据集成集群 购买“按需计费”增量包，系统会按照您所选规格自动创建一个数据集成 CDM 集群。 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面，参见表1进行配置。 表1 配置数据集成的增量包 参数 说明 增量包类型 选择批量数据迁移增量包。 计费方式 选择按需计费。 可用区 第一次购买DataArts Studio实例或增量包时，可用区无要求。 再次购买DataArts Studio实例或增量包时，是否将资源放在同一可用区内，主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力，建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低，则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 工作空间 选择需要使用批量数据迁移增量包的工作空间。只有在关联了工作空间后，才能在此工作空间中使用创建的CDM集群。 企业项目 当关联了多个工作空间后，需要为CDM集群指定一个企业项目。 集群名称 自定义数据集成集群名称。 实例类型 目前数据集成集群支持以下部分规格供用户选择： cdm.large：8核CPU、16G内存的虚拟机，最大带宽/基准带宽为3/0.8 Gbps，集群作业并发数上限为16。 cdm.xlarge：16核CPU、32G内存的虚拟机，最大带宽/基准带宽为10/4 Gbps，集群作业并发数上限为32，适合使用10GE高速带宽进行TB级以上的数据量迁移。 cdm.4xlarge：64核CPU、128G内存的虚拟机，最大带宽/基准带宽为40/36 Gbps，集群作业并发数上限为128。 购买DataArts Studio赠送的4核CPU、8G内存的虚拟机，仅支持作业单并发运行。 虚拟私有云 DataArts Studio实例中的数据集成CDM集群所属的VPC、子网、安全组。 如果DataArts Studio实例或CDM集群需连接云上服务（如DWS、 MRS 、RDS等），则您需要确保CDM集群与该云服务网络互通。同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通，如果同虚拟私有云而子网或安全组不同，还需配置路由规则及安全组规则。 VPC、子网、安全组的详细操作，请参见《虚拟私有云用户指南》。 说明： 目前CDM实例创建完成后不支持切换VPC、子网、安全组，请谨慎选择。 此处支持选择共享VPC子网，即由VPC的所有者将VPC内的子网共享给当前账号，由当前账号在购买CDM集群时选择共享VPC子网。通过共享VPC子网功能，可以简化网络配置，帮助您统一配置和运维多个账号下的资源，有助于提升资源的管控效率，降低运维成本。如何共享VPC子网，请参考《共享VPC》。 子网 安全组 IPv6双栈支持 开启IPv6双栈后，集群内网IP支持IPv4和IPv6，可通过IPv4或IPv6内网地址访问集群。 说明： 开启IPv6双栈后，仅支持选择已开启IPv6网段的子网。如果待选择的子网未开启IPv6网段，则需要在 虚拟私有云VPC 服务中开启。 仅支持为内网IP启用IPv6双栈，暂不支持为公网IP启用IPv6双栈。 集群创建好以后不支持修改规格，如果需要使用更高规格，需要重新创建。 单击“立即购买”，确认规格后单击“创建”。 购买成功后，即可返回对应的工作空间查看已购买的数据集成集群。

背景说明 购买DataArts Studio实例的用户，系统将默认为其创建一个默认的工作空间“default”，并赋予该用户为管理员角色。 在主账号创建的DataArts Studio实例中，该账号下的IAM用户如需创建工作空间，需要由主账号给IAM用户赋予DAYU Administrator或Tenant Administrator权限。在子用户创建的DataArts Studio实例中，主账号默认具有该DataArts Studio实例的所有执行权限。 具备DAYU User账号权限的用户，只有当其被添加为工作空间的成员后，才可以访问该工作空间。

什么是数据资产入表 所谓“数据资产入表”，是指数据资产入资产负债表，将数据确认为企业资产负债表中“资产”一项，在财务报表中体现其真实价值与业务贡献。 数据资产入表后，可以准确计量数据资源价值，同时为财报使用者提供更直观的数据资产相关信息，有助于投资者对企业进行更好的估值；可以改善企业财务报表，进而降低资产负债率，提升利润率；数据入表后可以通过数据交易为企业增值，并促进数据资产开发的相关投入。 企业数据资产的计量方法分为成本法、收益法、市场法。具体每个企业有哪些数据资产能入表，怎么开展相关工作，成为各企业的核心问题。能够入表的数据资源必须满足很多要求，首先，必须是企业合法拥有的数据，需要做完整合规授权的检查。第二是精确可计量。第三，要确保这些数据在企业生产经营过程中，创造了经济利益价值。比如，很多企业用数据做了统计分析报表，并不代表企业这些数据真正在业务上直接创造了营收。

操作步骤 登录弹性云服务器管理控制台。 登录已创建好的Linux系统云服务器，用于同时访问SFS容量型文件系统和SFS Turbo文件系统。 输入以下挂载命令，用于访问文件系统1。文件系统1可以是SFS容量型文件系统或SFS Turbo文件系统。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock 文件系统1挂载地址 /mnt/src 输入以下挂载命令，用于访问文件系统2。文件系统2可以是SFS容量型文件系统或SFS Turbo文件系统。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock 文件系统2挂载地址 /mnt/dst 下载并安装rclone工具。下载地址请参见https://rclone.org/downloads/。 执行以下命令，进行数据同步。 rclone copy /mnt/src /mnt/dst -P --transfers 32 --checkers 64 --links --create-empty-src-dirs 参数说明如下，transfers和checkers数目可以根据系统规格自行配置： /mnt/src ：源路径 /mnt/dst：目标路径 --transfers：传输文件的并发数目。 --checkers：扫描本地文件的并发数目。 -P：数据拷贝进度。 --links：复制源端的软链接，目的端保持为软链接的形式。 --copy-links：复制源端软链接指向的文件内容，目的端变成文件的形式，不再是软链接。 --create-empty-src-dirs：复制源端的空目录到目的端。 等待数据完成同步后，可前往目标文件系统查看是否已成功迁移。

在续费管理页面开通自动续费 登录管理控制台。 单击“控制台”页面上方“费用”，在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“自动续费项”页签查询已经开通自动续费的资源。 可对“手动续费项”、“到期转按需项”、“到期不续费项”页签的资源开通自动续费。 图3 续费管理 为包年/包月资源开通自动续费。 单个资源开通自动续费：选择需要开通自动续费的资源包，单击操作列“开通自动续费”。 图4 单个资源开通自动续费 批量资源开通自动续费：选择需要开通自动续费的资源包，单击列表左上角的“开通自动续费”。 图5 多个资源开通自动续费 选择续费时长，并根据需要设置自动续费次数，单击“开通”。 图6 开通自动续费

响应示例 { "id": "00078e9d-a61c-476e-ac63-a10c9cb2638e", "name": "development-env", "alias": null, "description": "", "project_id": "e7d2e9c589e5445e808a8ff0d1235aca", "enterprise_project_id": "0", "charge_mode": "provided", "deploy_mode": "container", "vpc_id": "29d55020-ae0e-4a18-871c-93e6976ee7bd", "base_resources": [ { "id": "b6862a62-d916-11e9-bdf1-0255ac101fd9", "type": "cce" } ], "optional_resources": [ { "id": "default", "type": "cse" } ], "creator": "ss-test", "create_time": 1610418873730, "update_time": 1610418873730 }

云审计 服务支持的CSE操作列表 CSE通过云审计服务（Cloud Trace Service，简称 CTS ）为您提供云服务资源的操作记录，记录内容包括您从华为云管理控制台或者API发起的云服务资源操作请求以及每次请求的结果，供您查询、审计和回溯使用。 如果您需要收集、记录或者查询Nacos引擎和ServiceComb引擎的操作日志，需要先开通云审计服务。通过云审计服务可查看Nacos和ServiceComb引擎最近7天的操作记录，支持记录的操作日志见表1和表2。 表1 云审计服务支持的Nacos引擎操作列表 操作类型 资源类型 事件名称 创建引擎 engine CreateEngineJob 删除引擎 engine DeleteEngineJob 创建服务 service createService 修改服务 service modifyService 删除服务 service deleteService 发布配置 config publishConfig 删除配置 config deleteConfig 创建命名空间 namespace createNamespace 修改命名空间 namespace modifyNamespace 删除命名空间 namespace deleteNamespace 表2 云审计服务支持的ServiceComb引擎操作列表 操作类型 资源类型 事件名称 创建引擎 engine createEngine 删除引擎 engine deleteEngine 升级或变更引擎 engine upgradeOrModifyEngine 创建引擎备份任务 engine createEngine_backup 删除引擎备份任务 engine deleteEngine_backup 创建引擎恢复任务 engine createEngine_recovery 创建引擎备份策略 engine createEngine_backup_strategy 删除引擎备份策略 engine deleteEngine_backup_strategy 更新引擎备份策略 engine updateEngine_backup_strategy 更新灰度发布规则 engine ModifyDarklaunch 删除灰度发布 engine DeleteDarklaunch 修改配置项 engine ModifyConfig 新增配置项 engine CreateConfig 删除配置项 engine DeleteConfig 更新治理规则 engine ModifyGovern_policy 更新微服务 engine modifyMicroservice 创建微服务 engine createMicroservice 删除微服务 engine deleteMicroservice 创建微服务标签 engine createMicroserviceTag 更新微服务标签 engine updateMicroserviceTag 删除微服务标签 engine deleteMicroserviceTag 创建微服务规则 engine createMicroserviceRule 更新微服务规则 engine updateMicroserviceRule 删除微服务规则 engine deleteMicroserviceRule 创建微服务契约 engine createMicroserviceSchema 更新微服务契约 engine updateMicroserviceSchema 删除微服务契约 engine deleteMicroserviceSchema 更新微服务依赖关系 engine updateMicroserviceDependency 更新微服务属性 engine updateMicroserviceProperty 更新微服务 engine updateMicroservice 更新监控阈值 engine updateThreshold 更新自定义规则 engine updateItem_meta 删除自定义规则 engine DeleteItem_meta 执行配置项清理 engine executeConfig_cleanup 更新微服务实例状态 engine updateInstanceStatus 更新微服务实例属性 engine updateInstanceProperty 创建微服务实例 engine createInstance 删除微服务实例 engine deleteInstance 父主题： 云审计服务支持的关键动作

测试模型 workload模型 表2 测试模型 测试模型编号 测试模型 workload-read（单行读） 100% read workload-insert（单行写） 100% insert workload-range-read（范围读） 100% range read 预置数据量 本次性能测试中，针对每种规格的实例，都预置了20亿条数据，每条数据有20个字段，每个字段大小为20Bytes。

测试数据 不同测试模型下，不同规格且预置相当数据量，测试的OPS*数据（表格中黑色字体），详见表1 测试数据中加粗内容。 表1 测试数据 实例类型 数据量 业务性能-吞吐量（QPS） 业务性能-P99时延ms 单行写 单行读 范围读 单行写 单行读 范围读 GeminiDB HBase实例 20亿 142154 95254 589050 3.5 8.5 19 开源HBase实例 20亿 139723 18931 63350 3.9 301 834 OPS：Operation Per Second，数据库每秒执行的操作数。 测试模型编号：测试模型编号对应的测试模型，请参见表2 测试模型。 父主题： 性能白皮书

使用须知 删除操作无法恢复，请谨慎操作。 删除节点时，您可以联系客服，选择1s到5min的节点连接时间（节点连接时间适用于所有节点），断开长连接。 如果搭建双活关系，不允许在主实例和备实例同时进行添加节点、删除节点和规格变更操作。 开启操作保护的用户，在进行敏感操作时，通过进行二次认证再次确认您的身份，进一步提高账号安全性，有效保护您安全使用云产品。关于如何开启操作保护，具体请参考《 统一身份认证 服务用户指南》的内容。

如何选择接口 不同接口的适用场景及功能存在差异，您可以根据业务需要选择接口产品。 表1 场景说明 接口名称 兼容接口 使用场景 说明 GeminiDB Redis接口 兼容Key-Value接口：Redis GeminiDB提供高并发、低延迟业务访问。具备极致弹性扩缩容能力，从容应对业务高峰。常见的用户场景包括游戏、广告RTA、推荐系统、电商、教育等。 GeminiDB Redis是一款100%兼容Redis协议的弹性KV数据库，支持远超内存的容量和极致的性能。它具有稳定低延迟、高性价比、无需备节点，全主架构、具备4:1超高数据压缩等优势，支持Hash Field过期、布隆过滤器、数据极速导入、内存加速等企业级特性。 GeminiDB Influx接口 兼容时间序列型接口：InfluxDB GeminiDB Influx接口广泛应用于资源监控，业务监控分析，物联网设备实时监控，工业生产监控，生产质量评估和故障回溯等。 GeminiDB Influx 接口是一款基于华为自研的计算存储分离架构，兼容InfluxDB生态的云原生NoSQL 时序数据库 。提供大并发的时序数据读写，压缩存储和类SQL查询，并且支持多维聚合计算和 数据可视化 分析能力。具有高写入、灵活弹性、高压缩率和高查询等特点。 GeminiDB Cassandra接口 兼容宽列接口：Cassandra，DynamoDB GeminiDB Cassandra接口支持TB级别存储及近百万级QPS，提供强一致性级别，可适配各类应用场景，尤其是大规模集群部署：例如工业制造和气象业、互联网等海量数据存储的场景。 GeminiDB Cassandra 接口 是一款基于华为自研的计算存储分离架构，兼容Cassandra生态的云原生NoSQL数据库，支持类SQL语法CQL。具有安全可靠、超强读写、弹性扩展、便捷管理等特点。 GeminiDB Mongo接口 兼容文档型接口：MongoDB GeminiDB Mongo接口近百万级QPS，开源3倍性能提升，支持存海量文档、图片、IoT/车联网数据、社交视频/语音等，适用于互联网、物联网、游戏、金融等领域。 GeminiDB Mongo 接口是一款基于华为自研的计算存储分离架构，兼容MongoDB生态的云原生NoSQL数据库。具有企业级性能、灵活弹性、高可靠、可视化管理等特点。

日志 KooDrive控制台为企业租户提供KooDrive云服务的订购（开通和变更）、冻结和退订等服务，其日志系统对接了华为云的 云日志 服务（Log Tank Service）。LTS提供一站式日志采集、秒级搜索、海量存储、结构化处理、转储和可视化图表等功能，满足应用运维、网络日志可视化分析、等保合规和运营分析等应用场景。 用户开通云日志服务后，LTS可记录KooDrive管理侧的操作日志。 LTS的详细介绍和开通配置方法，请参见LTS快速入门。 开启了云日志服务后，系统开始记录KooDrive管理侧的操作日志。您可以在云日志服务管理控制台，单击“日志管理”，查看实时上报的日志（日志每隔大约1分钟上报一次，在日志消息区域，您最多需要等待1分钟左右，即可查看实时上报的日志）。 KooDrive服务记录了租户资源被访问的日志，客户可以使用祥云提供的日志管理工具，可以查询指定时间段的日志，分析日志，对相关业务资源的被访问情况进行详细的分析。

审计 云审计服务（Cloud Trace Service，CTS），是华为 云安全 解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务后，CTS可记录KooDrive的操作事件用于审计。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。 CTS支持追踪KooDrive管理事件，请参见审计管理。 开启了云审计服务后，系统开始记录KooDrive的操作。您可以在云审计服务控制台查看最近7天的操作记录，具体操作指导请参见查看审计事件。

线下集群向云迁移 线下集群可以通过如下两种方式将数据迁移至云： 云专线（DC） 为源集群与目标集群之间建立云专线，打通线下集群出口网关与线上VPC之间的网络，然后参考同Region执行Distcp进行拷贝。 数据快递服务（DES） 对于TB或PB级数据上云的场景，华为云提供数据快递服务 DES。将线下集群数据及已导出的元数据拷贝到DES盒子，快递服务将数据递送到华为云机房，然后通过 云数据迁移 CDM将DES盒子数据拷贝到HDFS。

不同Region 当源集群与目标集群处于不同Region时，用Distcp工具将源集群数据拷贝到OBS，借助OBS跨区域复制功能（请参见跨区域复制）将数据复制到对应目的集群所在Region的OBS，然后通过Distcp工具将OBS数据拷贝到目的集群的HDFS上。由于执行Distcp无法为OBS上的文件设置权限、属主/组等信息，因此当前场景在进行数据导出时也需要将HDFS的元数据信息进行导出并拷贝，以防HDFS文件属性信息丢失。

选择合适的数据分布策略 分片集群支持将单个集合的数据分散存储在多个分片上，用户可以根据集合内文档的分片键来分布数据。 目前，主要支持两种数据分布策略，即范围分片（Range based sharding）和Hash分片（Hash based sharding），设置方式请参见4。 下面分别介绍这两种数据分布策略以及各自的优缺点。 范围分片 基于范围进行分片，即集群按照分片键的范围把数据分成不同部分。假设有一个数字分片键，为一条从负无穷到正无穷的直线，每一个片键的值均在直线上进行标记。可以理解为将该直线划分为更短的不重叠的片段，并称之为数据块，每个数据块包含了分片键在一定的范围内的数据。 图1 数据分布示意图 如上图所示，x表示范围分片的片键，x的取值范围为[minKey,maxKey]，且为整型。将整个取值范围划分为多个chunk，每个chunk（通常配置为64MB）包含其中一小段的数据。其中，chunk1包含x值在[minKey, -75]中的所有文档，每个chunk的数据都存储在同一个分片上，每个分片可以存储多个chunk，并且chunk存储在分片中的数据会存储在config服务器中，dds mongos也会根据各分片上的chunk的数据自动执行负载均衡。 范围分片能够很好的满足范围查询的需求，例如，查询x的取值在[-60,20]中的文档，仅需dds mongos将请求路由到chunk2。 范围分片的缺点在于，如果分片键有明显递增（或递减）趋势，新插入的文档很大程度上会分布到同一个chunk，从而无法扩展写的能力。例如，使用“_id”作为分片键，集群自动生成id的高位值将是递增的时间戳。 Hash分片 根据用户的分片键值计算出Hash值（长度64bit且为整型），再按照范围分片策略，根据Hash值将文档分布到不同的chunk中。基于Hash分片主要的优势为保证数据在各节点上分布基本均匀，具有“相近”片键的文档很可能不会存储在同一个数据块中，数据的分离性更高。 图2 数据分布示意图 Hash分片与范围分片互补，能将文档随机分散到各个chunk，充分扩展写能力，弥补范围分片的不足。但所有的范围查询要分发到后端所有的分片，才能获取满足条件的文档，查询效率低。

选择合适的分片键 背景 分片集群中数据的分片以集合为基础单位，集合中的数据通过分片键被分成多个部分。分片键是在集合中选择的一个合适的字段，数据拆分时以该分片键的值为依据均衡地分布到所有分片中。如果您没有选择到合适的的分片键，可能会降低集群的使用性能，出现执行分片语句时执行过程卡住的问题。 分片键一旦设置后不能再更改。如果未选取到合适的分片键，需要使用正确的分片策略，将数据迁移到新的集合后重新执行分片。 合适的分片键的特点 所有的插入、更新以及删除操作，将会均匀分发到集群中的所有分片中。 key的分布足够离散。 尽量避免scatter-gather查询。 如果所选分片键不具备以上所有特点，将会影响集群的读写扩展性。例如，通过find()操作读取的工作量在分片中非均匀分布，最终会产生查询热分片。同样，如果写工作量（插入、更新和修改）在分片中非均匀分布，最终会产生写热分片，严重限制分片的优势。因此，您需要根据应用读写状态（重读取还是重写入）、经常查询及写入的数据等业务需求，调整您的分片键。 需要注意，对已有数据分片后，如果update请求的filter中未携带片键字段并且选项upsert:true或者multi:false，那么update 请求会报错，并返回“An upsert on a sharded collection must contain the shard key and have the simple collation.” 判断标准 您可以通过表2中的几个维度，判断所选分片键是否能够满足业务需求。 表2 合理分片键的判断依据 判断依据 说明 片键基数 片键基数是指划分数据块的能力。例如，要记录某个学校的学生信息，由于学生的年龄比较集中，如果选择年龄作为分片键，同一个数据段中将存储很多同龄学生的数据，影响集群的性能以及可管理性。由于学生的学号唯一，如果选择学号作为分片键，分片基数较大，有利于数据的均匀分布。 写分布 若用户业务在同一时间段有大量写操作，则希望这些写操作能够均匀分布到各个分片上。如果数据分布策略为范围分片，并以一个单调递增的值作为分片键，此时，大量写入的数据同样是片键字段递增，数据将写入同一个分片。 读分发 若用户业务在同一时间段有大量读操作，则希望这些读操作能够均匀分布到各个分片上，以充分利用各分片节点的计算性能。 定向读 dds mongos查询路由器可以执行定向查询（只查询一个分片）或scatter/gather查询（查询所有分片）。只有查询中存在分片键，dds mongos才能定位到单一分片，因此，您需要选择在业务运行时可用于普遍查询的分片键。如果您选择合成的分片键，将无法在定向查询中使用该片键，所有的查询方式将变成scatter/gather查询，从而限制扩展读数据的能力。

MRS集群数据备份与恢复 MRS集群提供对集群内的用户数据及系统数据的备份恢复能力，备份功能按组件提供。 MRS 3.x版本支持将数据备份至本地磁盘（LocalDir）、本端HDFS（LocalHDFS）、远端HDFS（RemoteHDFS）、NAS（NFS/CIFS）、SFTP服务器（SFTP）、OBS。对于支持多服务的组件，支持同服务多个实例的备份恢复功能且备份恢复操作与自身服务实例一致。 备份恢复任务的使用场景如下： 用于日常备份，确保系统及组件的数据安全。 当系统故障导致无法工作时，使用已备份的数据完成恢复操作。 当主集群完全故障，需要创建一个与主集群完全相同的镜像集群，可以使用已备份的数据完成恢复操作。 表1 根据业务需要备份元数据（MRS 2.x及之前版本） 备份类型 备份内容 OMS 默认备份集群管理系统中的数据库数据（不包含告警数据）以及配置数据。 LdapServer 备份用户信息，包括用户名、密码、密钥、密码策略、组信息。 DBService 备份DBService管理的组件（Hive）的元数据。 NameNode 备份HDFS元数据。 表2 根据业务需要备份Manager配置数据（MRS 3.x版本） 备份类型 备份内容 备份目录类型 OMS 默认备份集群管理系统中的数据库数据（不包含告警数据）以及配置数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS SFTP OBS 表3 根据业务需要备份组件元数据或其他数据（MRS 3.x版本） 备份类型 备份内容 备份目录类型 DBService 备份DBService管理的组件（Loader、Hive、Spark、Oozie、Hue、CDL）的元数据。对于安装了多服务的集群，包含多个Hive和Spark服务实例的元数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS SFTP OBS Flink （适用于MRS 3.2.0及以后版本） Flink的元数据。 LocalDir LocalHDFS RemoteHDFS Kafka Kafka的元数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS OBS NameNode 备份HDFS元数据。添加多个NameService后，支持不同NameService的备份恢复功能且备份恢复操作与默认实例“hacluster”一致。 LocalDir RemoteHDFS NFS CIFS SFTP OBS Yarn 备份Yarn服务资源池相关信息。 HBase HBase系统表的tableinfo文件和数据文件。 IoTDB IoTDB的元数据。 LocalDir NFS RemoteHDFS CIFS SFTP ClickHouse ClickHouse的元数据。 LocalDir RemoteHDFS 表4 根据业务需要备份特定组件业务数据（MRS 3.x版本） 备份类型 备份内容 备份目录类型 HBase 备份表级别的用户数据。对于安装了多服务的集群，支持多个HBase服务实例的备份恢复功能且备份恢复操作与HBase服务实例一致。 RemoteHDFS NFS CIFS SFTP HDFS 备份用户业务对应的目录或文件。 说明： 加密目录不支持备份恢复。 Hive 备份表级别的用户数据。对于安装了多服务的集群，支持多个Hive服务实例的备份恢复功能且备份恢复操作与Hive服务实例一致。 IoTDB 备份IoTDB业务数据。 RemoteHDFS ClickHouse 备份表级别的用户数据。 RemoteHDFS 需要特别说明的是，部分组件不提供单独的数据备份与恢复功能： Kafka支持副本特性，在创建主题时可指定多个副本来备份数据。 CDL的数据存储在DBService与Kafka服务中，系统管理员可以通过创建备份DBService和Kafka的任务来备份数据。 Mapreduce和Yarn的数据存放在HDFS上，故其依赖HDFS提供备份与恢复即可。 ZooKeeper中存储的业务数据，其备份恢复能力由各上层组件按需独立实现。 父主题： MRS集群管理

创建MRS集群 购买一个包含有Kafka组件的MRS集群，详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例，组件包含Hadoop、Kafka组件，集群未开启Kerberos认证。 集群购买成功后，在MRS集群的任一节点内，安装集群客户端，具体操作可参考安装并使用集群客户端。 例如客户端安装在主管理节点中，安装目录为“/opt/client”。 客户端安装完成后，在客户端内创建“lib”目录，用于放置相关jar包。 将安装客户端过程中解压的目录中Kafka相关jar包复制到“lib”目录。 例如客户端软件包的下载路径为主管理节点的“/tmp/ FusionInsight -Client”目录，执行以下命令： mkdir /opt/client/lib cd /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_ClientConfig scp Kafka/install_files/kafka/libs/* /opt/client/lib

上传jar包及准备源数据 将编译后的jar包上传到客户端节点，例如上传到“/opt/client/sparkdemo”目录下。 如果本地网络无法直接连接客户端节点上传文件，可先将jar文件或者源数据上传至OBS文件系统中，然后通过MRS管理控制台集群内的“文件管理”页面导入HDFS中，再通过HDFS客户端使用hdfs dfs -get命令下载到客户端节点本地。 将用于认证的用户keytab文件也上传到代码中指定位置，例如上传到“/opt/client”目录下。 使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env kinit sparkuser 创建Hive表并写入初始数据。 beeline 在Hive Beeline命令行中执行以下命令创建表并插入数据。 create table person ( name STRING, account INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ESCAPED BY '\\' STORED AS TEXTFILE; insert into table person(name,account) values("1","100"); select * from person; +--------------+-----------------+ | person.name | person.account | +--------------+-----------------+ | 1 | 100 | +--------------+-----------------+ 创建HBase表并写入初始数据。 退出Hive Beeline命令行，执行spark-beeline，然后执行以下命令创建HBase表。 create table table2 ( key string, cid string ) using org.apache.spark.sql.hbase.HBaseSource options( hbaseTableName "table2", keyCols "key", colsMapping "cid=cf.cid" ); 退出Spark Beeline命令行，执行hbase shell命令，进入HBase Shell命令行，执行以下命令插入数据。 put 'table2', '1', 'cf:cid', '1000' scan 'table2' ROW COLUMN+CELL 1 column=cf:cid, timestamp=2023-06-12T21:12:50.711, value=1000 1 row(s)

告警参数 参数名称 参数含义 OID 该告警所对应的MIB节点的OID号。 EntityPhysicalIndex 物理索引。 BaseTrapSeverity 告警级别。 BaseTrapProbableCause 错误码。 BaseTrapEventType 事件类型。 EntPhysicalContainedIn 包含实体编码。 EntPhysicalName 实体名。 RelativeResource 子实体。 ReasonDescription 故障描述。

告警解释 SRM/3/TXPOWER_EXCEEDMINOR: OID [OID] Optical module exception, Tx power is too low. (EntityPhysicalIndex=[INTEGER], BaseTrapSeverity=[INTEGER], BaseTrapProbableCause=[INTEGER], BaseTrapEventType=[INTEGER], EntPhysicalContainedIn=[INTEGER], EntPhysicalName=[OCTET], RelativeResource=[OCTET], ReasonDescription=[OCTET]) 光模块发送光功率过低预警。

告警解释 WLAN/4/AP_ADJACENT_CHANNEL_INTERFERENCE: OID [OID] The adjacent-channel interference exceeds the alarm threshold.( APM AC=[OPAQUE], RadioID=[INTEGER],APName=[OCTET], APChannel=[INTEGER], APID=[INTEGER], IntfBssId=[OPAQUE], IntfChnl=[INTEGER], RSSI threshold percent=[INTEGER]%) 邻频AP干扰告警。

告警解释 OSPF/2/NBRCHG:OID [oid] The status of the non-virtual neighbor changes. (NbrIpAddress=[neighbor-ip-address], NbrAddressLessIndex=[neighbor-interface-index], ProcessId=[process-id], AreaId=[area-id], IfnetIndex=[interface-ifnet-index], LocalIfIpAddress=[local-ip-address], ProcessId=[process-id], RouterId=[router-id], NbrRtrId=[neighbor-router-id], NbrState=[neighbor-state], IfName=[interface-name], InstanceName=[instance-name], NbrChgReason=[NbrStateChangeReason]) OSPF邻居状态发生变化，可能是由于该邻居所在的接口状态发生变化，或者收到的hello报文中内容发生改变。

告警参数 参数名称 参数含义 oid 该告警所对应的MIB节点的OID号。 NbrIpAddress 邻居IP地址。 NbrAddressLessIndex 邻居接口索引号。 ProcessId 进程号。 AreaId 区域ID。 IfnetIndex 本交换机接口的Ifnet索引。 LocalIfIpAddress 本交换机的IP地址。 ProcessId 进程号。 RouterId 本交换机的Router ID。 NbrRtrId 邻居Router ID。 NbrState 邻居状态。 1: Down 2: Attempt 3: Init 4: 2Way 5: ExStart 6: Exchange 7: Loading 8: Full IfName 接口名称。 InstanceName 实例名称。 NbrChgReason 邻居状态变化的原因： 1：adjacencyHoldTimerExpired，表示邻接交换机的定时器超时。 2：physicalInterfaceChange，表示交换机的物理接口状态发生变化。 3：ospfProtocolReason，表示OSPF协议原因导致告警。 4：bfdSessionStateChange，表示BFD会话断开。 5：configureChange，表示OSPF配置发生了变化。 6：peerRouterReason，表示邻居交换机原因导致告警。 100：alarmCleared，表示业务恢复或邻居被删除，告警清除。

告警参数 参数名称 参数含义 [oid] 该告警所对应的MIB节点的OID号。 SessionType 告警类型，当前仅支持SESSION。 ThresholdLevel 告警级别。 1：1级告警，告警阈值为90%。 2：2级告警，告警阈值为100%。 CurrentNum 当前使用转发流表数目。 TotalNum 转发流表规格数目。 Usage 当前转发流表数目占规格数目的比例。 Top3SourceIpAddress 当前转发流表数目最多的三个源IP地址及其转发流表数目。 格式为：(源IP地址1, 转发流表数目1)(源IP地址2, 转发流表数目2)(源IP地址3, 转发流表数目3)

告警解释 IFNET/4/INBWRATEEXCEED: OID [OID] Interface input flow bandwidth usage exceeded the trap threshold. (Interface=[INTEGER], BandWidthUsage=[INTEGER], TrapThreshold=[INTEGER], InterfaceName=[STRING]) 当接口接收的流量占接口总带宽的比例大于设定阈值时，发出告警。