华为云用户手册

SparkPack企业ERP打开应用提示“如果无法启动客户端，请下载客户端或重新打开应用” 问题描述：如果无法启动客户端，请下载客户端或重新打开应用。 如下图所示： 可能原因： 您本地电脑未安装SparkPack 企业ERP客户端。 您本地电脑的CPU和内存使用率高，或者硬件配置较低。 处理办法： 请在本地电脑上下载并安装SparkPack 企业ERP客户端，安装后重新打开。 如果重新安装客户端后仍无法打开，请联系华为云SparkPack 企业ERP解决方案团队或项目经理获取帮助。 父主题： FAQ

告警策略 RDS for MySQL默认对以下指标开启自动告警：CPU使用率（rds001_cpu_util）、磁盘利用率（rds039_disk_util）、连接数使用率（rds072_conn_usage）。更多监控指标，请参考支持的监控指标。 自动告警初始化时，绑定的手机号与邮箱为主账号的手机号和邮箱。 自动告警开启后，新实例将自动加入到告警监控资源列表中。超过既定阈值时触发告警，并通过 SMN 发送通知给绑定的手机或邮箱。 如需针对已有实例新增告警监控，或者将指定实例移出告警监控资源列表，可通过 云监控服务 （ CES ）进行调整，详情请参见修改告警规则。

操作场景 云数据库 RDS for MySQL支持针对CPU、磁盘使用率等重要指标，开启自动告警功能。开启后，新实例将自动加入到CES告警监控列表。超过既定阈值时触发告警，并通过SMN发送通知给绑定的手机或邮箱。 查看或修改自动告警所监控的实例，可跳转至 云监控 服务（CES）进行查看或调整，详情请参见修改告警规则。 查看或修改自动告警所绑定的手机号和邮箱，可通过云监控服务（CES）的告警规则详情页跳转至 消息通知 服务（SMN）进行查看或调整，详情请参见添加订阅。

操作场景 事件定时器Event Scheduler是事件（event）调度任务的总开关。由于原生事件定时器不能保证主、备库的event状态一致，一旦进行主备切换会导致event调度失败。云数据库 RDS for MySQL提供了event状态同步功能，确保相关的event正常调度。该功能依赖在console上开启、关闭事件定时器来实现。 创建实例时，事件定时器默认不开启。 主、备实例切换后，事件状态同步是否开启保持不变，依然保持主库“event_scheduler”为“on”，备库为“off”。 恢复到新实例时，事件状态与原实例保持一致。 单机实例转为主备实例，事件状态与主实例保持一致。

限制条件 恢复中的实例，不可进行该操作。 除RDS界面和API以外的其他方式创建的数据库和账号，也会展示在RDS界面。如果创建的数据库名和账号名不满足数据库命名规则和帐号命名规则，例如包含中文或不支持的特殊字符，那么该数据库和账号不支持RDS界面或API的数据库管理和账号管理功能。 如果源库的数据库名和账号名不满足数据库命名规则和帐号命名规则，迁移到目标库RDS for MySQL后，该数据库和账号不支持RDS界面或API的数据库管理和账号管理功能。

操作场景 您可以复制您创建的自定义数据库参数模板。当您已创建一个数据库参数模板，并且想在新的数据库参数模板中包含该组中的大部分自定义参数和值时，复制参数模板是一个方便的解决方案。您还可以导出某数据库实例应用的参数列表，生成一个新的参数模板，供您后期使用。 复制数据库参数模板之后，新参数模板可能不会立即显示，建议您等待5分钟再使用。 您无法复制默认参数模板。不过，您可以创建基于默认参数模板的新参数模板。

操作场景 您可以复制您创建的自定义数据库参数模板。当您已创建一个数据库参数模板，并且想在新的数据库参数模板中包含该组中的大部分自定义参数和值时，复制参数模板是一个方便的解决方案。您还可以导出某数据库实例应用的参数列表，生成一个新的参数模板，供您后期使用。 复制数据库参数模板之后，新参数模板可能不会立即显示，建议您等待5分钟再使用。 您无法复制默认参数模板。不过，您可以创建基于默认参数模板的新参数模板。

操作场景 您可以复制您创建的自定义数据库参数模板。当您已创建一个数据库参数模板，并且想在新的数据库参数模板中包含该组中的大部分自定义参数和值时，复制参数模板是一个方便的解决方案。您还可以导出某数据库实例应用的参数列表，生成一个新的参数模板，供您后期使用。 复制数据库参数模板之后，新参数模板可能不会立即显示，建议您等待5分钟再使用。 您无法复制默认参数模板。不过，您可以创建基于默认参数模板的新参数模板。

支持的版本说明 该插件支持从9.5到15的版本，但是该插件的目的是给未root提权版本（9.5, 9.6, 10, 11.5及之前的版本）提升权限的，建议11.5之后的版本直接使用root用户进行此插件执行的赋权动作。 可通过以下SQL语句查询当前实例是否支持该插件： SELECT * FROM pg_available_extension_versions WHERE name = 'rds_hwdrs_privs'; RDS for PostgreSQ L实例 支持的插件，具体请参见支持的插件列表。

基本使用 此插件只能由root用户或者root的成员用户执行。 可以通过root用户直接执行，或者通过如下操作： grant root to drs_sync; 将root权限赋予drs_sync，这样drs_sync用户也能够执行。 赋予某个用户对pg_catalog.pg_authid的select权限。 select control_select_on_pg_authid('grant', 'drs_sync'); 其中，第一个参数可以选择grant, revoke；第二个参数是具体的用户，用户必须已存在。 对用户赋予bypassrls, replication的权限。 select control_user_privilege('bypassrls', 'drs_sync'); 其中，第一个参数是要赋予的权限，可选范围是bypassrls, nobypassrls, replication, noreplication；第二个参数是具体的用户，用户必须已存在。 创建对all tables的发布。 select create_publication_for_all_tables('foo_pub', 'insert, update'); select create_publication_for_all_tables('foo_pub'); 该函数只创建for all tables的发布，对于某个表的发布可以使用正常的SQL。 其中，第一个参数是发布名，不能和已有的发布重名；第二个参数是选项，可以缺省，缺省情况下和create publication foo_pub for all tables一样；不缺省的情况下，在RDS for PostgreSQL 10版本中可选的是insert, update, delete，在11版本中可选项多了truncate。 创建出来的publication的owner是root。可以使用root用户或者root的成员用户，通过SQL对该publication进行接下来的操作。 执行部分pg_replication_origin_xxx函数。 -- 创建一个复制源 select exec_pg_replication_origin_func('pg_replication_origin_create', 'foo_repl_origin'); -- 删除这个复制源 select exec_pg_replication_origin_func('pg_replication_origin_create', 'foo_repl_origin'); -- 查看当前会话是否绑定了复制源 select exec_pg_replication_origin_func('pg_replication_origin_session_is_setup'); 其中，第一个参数是要执行的函数名，可选范围是'pg_replication_origin_create', 'pg_replication_origin_drop', 'pg_replication_origin_oid', 'pg_replication_origin_session_setup', 'pg_replication_origin_session_reset', 'pg_replication_origin_session_is_setup'；第二个参数是可以缺省的，是否缺省取决于要执行的函数是否需要参数值。

CCE Turbo 分布式管理 使用CCE Turbo 分布式管理功能需要提前注册边缘小站。 CCE Turbo集群支持管理边缘基础设施（智能边缘云和智能边缘小站）的能力。启用分布式支持后，一个集群可以统一管理数据中心和边缘的计算资源，用户可以便捷地根据应用的诉求将其部署在对应的区域。 图1 CCE Turbo分布式管理 核心概念 为了区分云上资源和分布在不同边缘区域的资源，也为了方便用户使用和管理处于不同区域的资源，引入了分区概念，定义如下： 计算角度：一个分区是一组“风火水电”相互隔离、但网络位置靠近（通常互访时延小于2ms）的数据中心可用区（available zone）的集合。将应用分散在一个分区内不同可用区可以实现应用高可用性。 网络角度：一个分区内节点和容器需要使用创建在该分区内可用区下的虚拟私有云（VPC）子网。为方便配置和管理，分区创建时需设定默认子网，当创建节点不指定子网时，会填入分区默认子网。 其他属性：分区包含资源类别，即中心云、智能边缘云或智能边缘小站。该属性的配置方便后续负载的调度。 约束与限制 节点：分布式集群当前仅支持普通x86虚拟机。 节点池：节点池随机调度功能仅限于分区内；暂不支持节点迁移功能。 存储：当前仅支持在边缘区域创建云硬盘（EVS），其他种类存储方式不推荐使用。 服务与路由：仅支持独享型ELB；仅支持在智能边缘云类型的分区创建4层ELB，其他类型需要将ELB实例创建在中心分区。 插件：分布式集群支持如下插件，且优先将插件部署在云上节点。 everest coredns node-local-dns autoscaler metrics-server dashboard huawei-npu gpu-device-plugin（原gpu-beta）

CCE Turbo集群Pod批量创建性能说明 CCE Turbo集群的Pod容器网卡申请自VPC的弹性网卡或者辅助弹性网卡，目前Pod与网卡（弹性网卡或辅助弹性网卡）的关联操作发生在Pod调度完成之后，Pod创建的速度受网卡创建与绑定速度的影响，具体限制如下表所示。 表1 容器网卡创建耗时 节点类型 网卡类型 可支持的最大网卡数 网卡绑定到节点上的操作 网卡可用耗时 并发控制 节点上的容器网卡默认预热配置 E CS 节点 辅助弹性网卡 256 指定该节点的弹性网卡创建辅助弹性网卡 1s以内 租户级别：600/分钟 1.19.16-r2、1.21.5-r0、1.23.3-r0之前的集群版本：容器网卡不预热 1.19.16-r2、1.21.5-r0、1.23.3-r0到1.19.16-r4、1.21.7-r0、1.23.5-r0之间的集群版本：容器网卡动态预热（nic-minimum-target=10；nic-warm-target=2） 1.19.16-r4、1.21.7-r0、1.23.5-r0、1.25.1-r0及以上集群版本：容器网卡动态预热（nic-minimum-target=10；nic-maximum-target=2；nic-warm-target=2；nic-max-above-warm-target=2） BMS节点 弹性网卡 128 节点绑定弹性网卡 20s-30s 节点级别：3并发 1.19.16-r4、1.21.7-r0、1.23.5-r0之前的集群版本：容器网卡总数高低水位预热（nic-threshold=0.3:0.6） 1.19.16-r4、1.21.7-r0、1.23.5-r0、1.25.1-r0及以上集群版本：容器网卡动态预热（nic-minimum-target=10；nic-maximum-target=2；nic-warm-target=2；nic-max-above-warm-target=2） 容器网卡预热会提前消耗容器子网的IP地址，进而影响集群可运行的Pod数规模，请根据业务规模合理规划配置容器网卡动态预热参数，详情请参见CCE Turbo配置容器网卡动态预热。 ECS节点创建Pod说明（采用辅助弹性网卡） 当Pod调度的节点上没有可用的已经预热的容器网卡时，会调用辅助弹性网卡的创建API，在该节点的一个弹性网卡上创建一个辅助弹性网卡；并把该辅助弹性网卡分配给该Pod。 当Pod调度的节点上有可用的已经预热的容器网卡时，会选择创建时间最长且未使用的一张辅助弹性网卡分配给该Pod。 受限于辅助弹性网卡的租户并发创建速度，容器网卡不预热的场景下，每分钟最多创建成功600个Pod；如果有更高的弹性要求，可根据业务场景合理配置容器网卡动态预热参数。 BMS节点创建Pod说明（采用弹性网卡） 当Pod调度的节点上没有可用的已经预热的容器网卡时，会调用节点绑定网卡的API，在该节点上绑定一个弹性网卡；并把该弹性网卡分配给该Pod。目前BMS节点绑定一张弹性网卡直至完全可用大约耗时在20s到30s不等。 当Pod调度的节点上有可用的已经预热的容器网卡时，会选择创建时间最长且未使用的一张弹性网卡分配给该Pod。 受限于BMS节点绑定弹性网卡的速度，容器网卡不预热的场景下，同一节点的Pod启动速度为：3个/20秒；所以针对BMS节点，强烈建议用户配置容器网卡全预热。

响应示例 状态码： 200 OK { "description" : "api-test", "feature" : "NOTEBOOK", "flavor" : "modelarts.vm.cpu.2u", "id" : "f9937afa-4451-42db-a76b-72d624749f66", "image" : { "description" : "description", "id" : "e1a07296-22a8-4f05-8bc8-e936c8e54090", "name" : "notebook2.0-mul-kernel-cpu-cp36", "swr_path" : "swr.xxxxx.com/atelier/notebook2.0-mul-kernel-cpu-cp36:3.3.2-release_v1", "tag" : "3.3.2-release_v1", "type" : "BUILD_IN" }, "lease" : { "create_at" : 1638841744515, "duration" : 3600000, "enable" : true, "type" : "TIMING", "update_at" : 1638841744515 }, "name" : "notebooks_test", "status" : "CREATING", "token" : "3eff13f2-3d70-5456-6dc7-e3f99f562022", "workspace_id" : "0" }

Notebook基础镜像列表 ModelArts开发环境提供Docker容器镜像，可作为预构建容器运行。预置镜像里面包含PyTorch，Tensorflow，MindSpore等常用AI引擎框架，镜像命名以AI引擎为主，并且每个镜像里面都预置了很多常用包，用户可以直接使用而无需重新安装。 开发环境预置镜像分为X86和ARM两类： 表1 X86预置镜像列表 引擎类型 镜像名称 PyTorch pytorch1.8-cuda10.2-cudnn7-ubuntu18.04 pytorch1.10-cuda10.2-cudnn7-ubuntu18.04 pytorch1.4-cuda10.1-cudnn7-ubuntu18.04 Tensorflow tensorflow2.1-cuda10.1-cudnn7-ubuntu18.04 tensorflow1.13-cuda10.0-cudnn7-ubuntu18.04 MindSpore mindspore1.7.0-cuda10.1-py3.7-ubuntu18.04 mindspore1.7.0-py3.7-ubuntu18.04 mindspore1.2.0-cuda10.1-cudnn7-ubuntu18.04 mindspore1.2.0-openmpi2.1.1-ubuntu18.04 无AI引擎（专用于 自定义镜像 的基础镜像） conda3-cuda10.2-cudnn7-ubuntu18.04 conda3-ubuntu18.04 表2 ARM预置镜像列表 引擎类型 镜像名称 TensorFlow tensorflow1.15-mindspore1.7.0-cann5.1.0-euler2.8-aarch64 tensorflow1.15-cann5.1.0-py3.7-euler2.8.3 MindSpore mindspore_1.10.0-cann_6.0.1-py_3.7-euler_2.8.3 mindspore_1.9.0-cann_6.0.0-py_3.7-euler_2.8.3 mindspore1.7.0-cann5.1.0-py3.7-euler2.8.3 mindspore1.7.0-cuda10.1-py3.7-ubuntu18.04 父主题： Notebook基础镜像介绍

创建集群时开启安全通信 登录 MRS 管理控制台。 单击“购买集群”，进入购买集群页面。 在购买集群页面，选择“快速购买”或“自定义购买”。 参考快速购买集群或购买自定义集群配置集群信息。 在“通信安全授权”栏，勾选通信安全授权。 图1 通信安全授权 单击“立即购买”创建集群。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。

集群创建成功后关闭安全通信 登录MRS管理控制台。 在现有集群列表中，单击待关闭安全通信的集群名称。 系统跳转至该集群详情页面。 图2 通信安全授权 单击“通信安全授权”右侧的开关关闭授权，在弹出窗口单击“确定”。 关闭授权后将导致集群状态变更为“网络通道未授权”，集群部分功能不可用，请谨慎操作。 图3 关闭通信安全授权 若用户已开启敏感操作保护（详见 IAM 服务的敏感操作）,则输入选择的对应验证方式获取的验证码进行进行验证，避免误操作带来的风险和损失。 图4 身份验证

快速购买实时分析集群 进入购买MRS集群页面。 在购买集群页面，选择“快速购买”页签。 参考下列参数说明配置集群基本信息，参数详细信息请参考购买自定义集群。 区域：默认即可。 计费模式：选择“按需计费”时，可能需要冻结一定的保证金。具体内容请参见 计费说明。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs_20201130”。 集群类型：默认即可。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“实时分析集群”。 可用区：默认即可。 当您为IES购买MRS时，请选择可用区为“边缘可用区”。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 企业项目：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 Kerberos认证：选择是否开启Kerberos认证。购买集群后，不支持修改。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 图1 实时分析集群 图2 集群节点配置 勾选通信安全授权，通信安全授权详情请参考授权安全通信。 单击“立即购买”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后，不支持修改。 如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。 单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见表1中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

快速购买Kafka流式集群 进入购买MRS集群页面。 在购买集群页面，选择“快速购买”页签。 参考下列参数说明配置集群基本信息，参数详细信息请参考购买自定义集群。 区域：默认即可。 计费模式：选择“按需计费”时，可能需要冻结一定的保证金。具体内容请参见 计费说明。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs_20200321”。 集群类型：选择“流式集群”。 版本类型：选择“普通版”。 集群版本：根据实际需求选择集群版本。 组件选择：选择“Kafka流式集群”。 可用区：默认即可。 当您为IES购买MRS时，请选择可用区为“边缘可用区”。 企业项目：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。MRS 3.x版本无该参数。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 LVM：默认即可。MRS 3.x版本暂时不支持该参数。 Kerberos认证：选择是否开启Kerberos认证。购买集群后，不支持修改。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 图1 Kafka流式集群 图2 集群节点配置 勾选通信安全授权，通信安全授权详情请参考授权安全通信。 单击“立即购买”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后，不支持修改。 如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。 单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见表1中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

自定义集群拓扑调整说明 表3 拓扑调整说明 服务名称 依赖关系 角色名称 角色业务部署建议 说明 OMS Server - OMSServer 部署在Master节点上，不支持修改。 - ClickHouse 依赖ZooKeeper CHS（ClickHouseServer） 所有节点均可部署。 角色实例部署数量范围：偶数个，2~256。 部署了该角色的非Master节点组会被认为是Core节点类型。 CLB（ClickHouseBalancer） 所有节点均可部署。 角色实例部署数量范围：2~256。 - ZooKeeper - QP(quorumpeer) 只能部署在Master节点上。 角色实例部署数量范围：3~9，步长为2。 - Hadoop 依赖ZooKeeper NN(NameNode) 只能部署在Master节点上。 角色实例部署数量范围：2。 - HFS（HttpFS） 只能部署在Master节点上。 角色实例部署数量范围：0~10。 - JN(JournalNode) 只能部署在Master节点上。 角色实例部署数量范围：3~60，步长为2。 - DN(DataNode) 所有节点均可部署。 角色实例部署数量范围：3~10000。 部署了该角色的非Master节点组会被认为是Core节点类型。 RM(ResourceManager) 只能部署在Master节点上。 角色实例部署数量范围：2。 - NM(NodeManager) 所有节点均可部署。 角色实例部署数量范围：3~10000。 - JHS(JobHistoryServer) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 - TLS(TimelineServer) 只能部署在Master节点上。 角色实例部署数量范围：0~1。 - Presto 依赖Hive PCD(Coordinator) 只能部署在Master节点上。 角色实例部署数量范围：2。 - PWK(Worker) 所有节点均可部署。 角色实例部署数量范围：1~10000。 - Spark2x 依赖Hadoop 依赖Hive 依赖ZooKeeper JS2X(JD BCS erver2x) 只能部署在Master节点上。 角色实例部署数量范围：2~10。 - JH2X(JobHistory2x) 只能部署在Master节点上。 角色实例部署数量范围：2。 - SR2X(SparkResource2x) 只能部署在Master节点上。 角色实例部署数量范围：2~50。 - IS2X(IndexServer2x) （可选）只能部署在Master节点上。 角色实例部署数量范围：0~2，步长为2。 - HBase 依赖Hadoop HM(HMaster) 只能部署在Master节点上。 角色实例部署数量范围：2。 - TS(ThriftServer) 所有节点均可部署。 角色实例部署数量范围：0~10000。 - RT(RESTServer) 所有节点均可部署。 角色实例部署数量范围：0~10000。 - RS(RegionServer) 所有节点均可部署。 角色实例部署数量范围：3~10000。 - TS1(Thrift1Server) 所有节点均可部署。 角色实例部署数量范围：0~10000。 若集群安装了Hue服务并且需要在Hue WebUI使用HBase，HBase服务需安装此实例。 Hive 依赖Hadoop 依赖DBService MS(MetaStore) 只能部署在Master节点上。 角色实例部署数量范围：2~10。 - WH（WebHCat） 只能部署在Master节点上。 角色实例部署数量范围：1~10。 - HS(HiveServer) 只能部署在Master节点上。 角色实例部署数量范围：2~80。 - Hue 依赖DBService H(Hue) 只能部署在Master节点上。 角色实例部署数量范围：2。 - Sqoop 依赖Hadoop SC(SqoopClient) 所有节点均可部署。 角色实例部署数量范围：1~10000。 - Kafka 依赖ZooKeeper B(Broker) 所有节点均可部署。 角色实例部署数量范围：3~10000。 - Flume - MS(MonitorServer) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 - F(Flume) 所有节点均可部署。 角色实例部署数量范围：1~10000。 部署了该角色的非Master节点组会被认为是Core节点类型。 Tez 依赖Hadoop 依赖DBService 依赖ZooKeeper TUI(TezUI) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 - Flink 依赖ZooKeeper 依赖KrbServer 依赖DBService 依赖Hadoop FR(FlinkResource) 所有节点均可部署。 角色实例部署数量范围：1~10000。 - FS(FlinkServer) 所有节点均可部署。 角色实例部署数量范围：0~2。 - Oozie 依赖Hadoop 依赖DBService 依赖ZooKeeper O(oozie) 只能部署在Master节点上。 角色实例部署数量范围：2。 - Impala 依赖Hadoop 依赖Hive 依赖DBService 依赖ZooKeeper StateStore 只能部署在Master节点上。 角色实例部署数量范围：1。 - Catalog 只能部署在Master节点上。 角色实例部署数量范围：1。 - Impalad 所有节点均可部署。 角色实例部署数量范围：1~10000。 - Kudu - KuduMaster 只能部署在Master节点上。 角色实例部署数量范围：3或者5。 - KuduTserver 所有节点均可部署。 角色实例部署数量范围：3~10000。 - Ranger 依赖DBservice RA(RangerAdmin) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 - USC(UserSync) 只能部署在Master节点上。 角色实例部署数量范围：1。 - TSC（TagSync） 所有节点均可部署。 角色实例部署数量范围：0~1。 - HetuEngine （仅适用于MRS 3.1.2-LTS.3及以后版本） 依赖Hadoop 依赖DBService 依赖Hive 依赖ZooKeeper 依赖KrbServer 依赖Yarn 依赖HDFS HSB(HSBroker) 所有节点均可部署。 角色实例部署数量范围：2~50。 - HSC(HSConsole) 所有节点均可部署。 角色实例部署数量范围：2。 - HSF(HSFabric) 所有节点均可部署。 角色实例部署数量范围：0~50。 - QAS（仅适用于MRS 3.2.0-LTS.1及以后版本） 所有节点均可部署。 角色实例部署数量范围：0~2。 - IoTDB（仅适用于MRS 3.2.0-LTS.1及以后版本） 依赖KrbServer CN（ConfigNode） 只能部署在Master节点上。 角色实例部署数量范围：3~9，步长为2。 - IoTDBS（IoTDBServer） 所有节点均可部署。 角色实例部署数量范围：3~256。 - CDL（仅适用于MRS 3.2.0-LTS.1及以后版本） 依赖DBService 依赖HDFS 依赖Hive 依赖KrbServer 依赖Kafka 依赖Spark 依赖ZooKeeper 依赖Yarn CC（CDLConnector） 所有节点均可部署。 角色实例部署数量范围：1~256。 - CS（CDLService） 所有节点均可部署。 角色实例部署数量范围：1~2。 -

自定义集群模板说明 表1 自定义集群常用模板说明 常用模板 说明 节点数量范围 管控合设 管理角色和控制角色共同部署在Master节点中， 数据实例 合设在同一节点组。该部署方式适用于100个以下的节点，可以减少成本。 Master节点数量大于等于3个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。 管控分设 管理角色和控制角色分别部署在不同的Master节点中，数据实例合设在同一节点组。该部署方式适用于100-500个节点，在高并发负载情况下表现更好。 Master节点数量大于等于5个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。 数据分设 管理角色和控制角色分别部署在不同的Master节点中，数据实例分设在不同节点组。该部署方式适用于500个以上的节点，可以将各组件进一步分开部署，适用于更大的集群规模。 Master节点数量大于等于9个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。 表2 MRS自定义集群节点部署方案 节点部署原则 适用场景 组网规则 管理节点、控制节点和数据节点分开部署 （此方案至少需要8个节点） MN × 2 + CN × 9 + DN × n （推荐）数据节点数500-2000时采用此方案 集群节点数超过200时，各节点划分到不同子网，各子网通过核心交换机三层互联，每个子网的节点数控制在200个以内，不同子网中节点数量请保持均衡。 集群节点数低于200时，各节点部署在同一子网，集群内通过汇聚交换机二层互联。 MN × 2 + CN × 5 + DN × n （推荐）数据节点数100-500时采用此方案 MN × 2 + CN × 3 + DN × n （推荐）数据节点数30-100时采用此方案 管理节点和控制节点合并部署，数据节点单独部署 (MN+CN) × 3 + DN × n （推荐）数据节点数3-30时采用此方案 集群内节点部署在同一子网，集群内通过汇聚交换机二层互联。 管理节点、控制节点和数据节点合并部署 节点数小于6的集群使用此方案 此方案至少需要3个节点 说明： 生产环境或商用环境不推荐使用此场景： 管理节点、控制节点和数据节点合并部署时，集群性能和可靠性都会产生较大影响。 如节点数量满足需求，建议将数据节点单独部署。 如节点数量不满足将数据节点单独部署的要求，必须使用此场景时，需要使用双平面组网方式。将管理网络与业务网络流量隔离，防止业务平面的数据量过大，导致管理操作不能正常下发。 集群内节点部署在同一子网，集群内通过汇聚交换机二层互联。

创建自定义集群 进入购买MRS集群页面。 在购买集群页面，选择“自定义购买”页签。 参考下列参数说明配置集群软件信息，参数详细信息请参考软件配置。 区域：默认即可。 计费模式：选择“包年/包月”或者“按需计费”。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs_20180321”。 集群版本：目前仅MRS 3.x版本支持。 集群类型：选择“自定义”并根据需要勾选对应组件。 单击“下一步”，并配置硬件信息。 可用区：默认即可。 企业项目：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 安全组：选择“自动创建”。 弹性公网IP：选择“暂不绑定”。 常用模板：具体说明请参见自定义集群模板说明。 节点数：请根据业务量调整集群实例数量。具体可参考表2。 实例规格：单击配置实例规格、系统盘和数据盘存储类型和存储空间。 拓扑调整：若常用模板中的部署方式不满足需求或者需要手动安装部分默认安装不部署的实例或者需要手动安装部分实例时，请设置“拓扑调整”为“开启”，然后根据业务需要调整实例部署方式，具体说明请参见自定义集群拓扑调整说明。 单击“下一步”进入高级配置页签。 参数说明请参见高级配置。 单击“下一步”进入确认配置页签。 在“确认配置”页面检查配置集群信息，如需调整配置，可单击，跳转到对应页签后重新设置参数。 勾选通信安全授权，通信安全授权详情请参考授权安全通信。 单击“立即购买”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 单击“返回集群列表”，可以查看到集群创建的状态。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

创建集群时配置RDS数据连接 该操作指导用户在创建MRS集群时配置RDS数据连接。 进入购买MRS集群页面。 在购买集群页面，选择“自定义购买”。 在软件配置中，参考表2配置“元数据 ”，其他参数请参考购买自定义集群进行配置并创建集群。 表2 数据连接参数说明 参数 参数说明 元数据 选择“外置数据连接”。使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。 支持Hive或Ranger组件的集群支持该功能。 组件名 当“外置数据连接”功能开启时，该参数有效。用于表示可以设置外部数据源的组件类型。 Hive Ranger 数据连接类型 当“外置数据连接”功能开启时，该参数有效。用于表示外部数据源的类型。 Hive组件支持的数据连接类型： RDS服务PostgreSQL数据库 RDS服务MySQL数据库 “云数据库 GaussDB (for MySQL)”（仅MRS 3.1.2-LTS.3和MRS 3.1.5版本支持） 本地数据库 Ranger组件支持的数据连接类型： RDS服务MySQL数据库 本地数据库 数据连接实例 当“数据连接类型”选择“本地数据库”时无需配置该参数。用于表示MRS集群与RDS服务数据库连接的名称，该实例必须先创建才能在此处引用。可单击“创建数据连接”进行创建，具体请参考数据连接前置操作和创建RDS数据连接进行操作。 图2 创建集群时配置数据连接

快速购买HBase查询集群 进入购买MRS集群页面。 在购买集群页面，选择“快速购买”页签。 参考下列参数说明配置集群基本信息，参数详细信息请参考购买自定义集群。 区域：默认即可。 计费模式：选择“按需计费”时，可能需要冻结一定的保证金。具体内容请参见 计费说明。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs_20180321”。 集群类型：默认即可。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“HBase查询集群”。 可用区：默认即可。 当您为IES购买MRS时，请选择可用区为“边缘可用区”。 企业项目：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 企业项目：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 Kerberos认证：选择是否开启Kerberos认证。购买集群后，不支持修改。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 图1 HBase查询集群 图2 集群节点配置 勾选通信安全授权，通信安全授权详情请参考授权安全通信。 单击“立即购买”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后，不支持修改。 如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。 单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见表1中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

集群状态 登录MRS管理控制台，可在现有集群列表的“状态”列查看已有集群的状态，可在状态筛选框中勾选集群状态查看指定集群，MRS集群可筛选状态如表1所示。 表1 集群状态说明 状态 说明 启动中 集群正在创建，则其状态为“启动中”。 运行中 集群创建成功且运行正常，则其状态为“运行中”。 扩容中 集群Master节点、Core节点或者Task节点正在扩容，则其状态为“扩容中”。 说明： 如果集群扩容失败，用户可重新进行扩容操作。 缩容中 当对集群节点进行缩容、弹性缩容、包周期集群退订节点、变更OS和重装OS的操作时，被变更的集群节点正在删除，则其状态为“缩容中”。 异常 集群中部分组件状态异常，导致集群异常，则其状态为“异常”。 删除中 在集群现有列表单击“删除”按钮并确认后，按需购买的集群节点正在删除中，则集群状态为“删除中”。 说明： 包年包月集群无法执行删除操作。 冻结 包年/包月资源宽限期到期未续费、按需资源扣费失败且在宽限期到期前未充值，系统会冻结这些资源，其状态为“冻结”。本文提及的冻结一般指欠费冻结，其它冻结场景请参见资源冻结的类型有哪些？。 说明： 冻结期间集群不可用且关闭集群中所有云主机，解冻后集群自动恢复为“运行中”状态。如果用户没有续费，冻结期限到期后集群会被删除，状态更新为“已删除” 故障节点修复中 集群中故障的节点正在修复，则其状态为“故障节点修复中”。

快速购买Hadoop分析集群 进入购买MRS集群页面。 在购买集群页面，选择“快速购买”页签。 参考下列参数说明配置集群基本信息，参数详细信息请参考购买自定义集群。 区域：默认即可。 计费模式：选择“按需计费”时，可能需要冻结一定的保证金。具体内容请参见 计费说明。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs_20180321”。 集群类型：默认即可。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“Hadoop分析集群”。 可用区：默认即可。 当您为IES购买MRS时，请选择可用区为“边缘可用区”。 企业项目：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 Kerberos认证：选择是否开启Kerberos认证。购买集群后，不支持修改。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 图1 Hadoop分析集群 图2 集群节点配置 勾选通信安全授权，通信安全授权详情请参考授权安全通信。 单击“立即购买”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后，不支持修改。 如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。 单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见表1中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

使用spark-submit提交任务 使用root用户登录客户端节点，执行如下命令： cd 客户端安装目录 source bigdata_env source Spark2x/component_env 安全集群（开启kerberos认证）执行命令kinit spark_test，普通模式（关闭kerberos认证）无需执行。 输入密码，完成认证（第一次登录需要修改密码）。 cd Spark2x/spark/bin sh spark-submit --queue tenant_spark --class org.apache.spark.examples.SparkPi --master yarn-client ../examples/jars/spark-examples_*.jar

添加租户 在集群详情页，单击“租户管理”。 单击“添加租户”，打开添加租户的配置页面，参见以下表格内容为租户配置属性（以MRS 3.x版本集群为例）。 表2 租户参数一览表 参数名 描述 名称 例如：tenant_spark 租户类型 选择“叶子租户”。当选中“叶子租户”时表示当前租户为叶子租户，无法再添加子租户。当选中“非叶子租户”时表示当前租户可以再添加子租户。 计算资源 选择“Yarn”，系统将自动在Yarn中以租户名称创建任务队列。计算资源不选择“Yarn”时，系统不会自动创建任务队列。 配置模式 计算资源选择“Yarn”时，“配置模式”可选“基础”或“高级”。 基础：需配置“默认资源池容量 (%)”，配置当前租户在“default”资源池中使用的计算资源百分比。 高级：需配置如下参数。 权重：资源分配权重，取值范围从0到100。租户资源占比=租户权重/同级别租户总权重之和。 最小资源：保证租户能获得的资源（有抢占支持）。取值可以是父租户资源的百分比或绝对值。当租户作业量比较少时，资源会自动借给其他租户，当租户能使用的资源不满足最小资源时，可以通过抢占来要回之前借出的资源。 最大资源：租户最多能使用的资源，租户不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 预留资源：租户最多能使用的资源，租户不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 默认资源池容量 (%) 配置当前租户在“default”资源池中使用的计算资源百分比，例如“20%”。 储存资源 选择“HDFS”，第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。存储资源不选择“HDFS”时，系统不会在HDFS中创建存储目录。 文件/目录数上限 例如：100000000000 存储空间配额 配置当前租户使用的HDFS存储空间配额。最小值为“1”，最大值为父租户的全部存储配额。单位为MB或GB。例如：50000，单位为MB。此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 说明： 为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”，则实际只能保存约500/2=250MB大小的文件。 存储路径 例如：“tenant/spark_test”，系统默认将自动在“/tenant”目录中以租户名称创建文件夹。例如租户“spark_test”，默认HDFS存储目录为“tenant/spark_test”。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。 服务 配置当前租户关联使用的其他服务资源，支持HBase。单击“关联服务”，在“服务”选择“HBase”。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。 描述 配置当前租户的描述信息。 单击“确定”保存，完成租户添加。 保存配置需要等待一段时间，界面右上角弹出提示“租户创建成功。”，租户成功添加。 创建租户时将自动创建租户对应的角色、计算资源和存储资源。 新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制，不支持通过“角色管理”进行手动管理。 使用此租户时，请创建一个系统用户，并分配Manager_tenant角色以及租户对应的角色。

添加Task节点 在MRS自定义类型集群的集群详情页面，选择“节点管理”页签，单击“新增节点组”，进入“新增节点组”页面。 根据需求配置参数。 表1 新增节点组参数说明 参数名称 描述 节点规格 选择节点组内主机的规格类型。 节点数量 设置新增节点组内的节点数量。 系统盘 设置新增节点的系统盘的规格与容量。 数据盘/数据盘数量 设置新增节点的数据盘的规格与容量及数量。 部署角色 添加“NodeManager”角色。 单击“确定”。

使用场景 以微服务平台（NUWA Runtime）为例，在目前的业务部署中，容易出现以下两种业务场景： 场景一 业务通过部署服务部署Nuwa Runtime时，IaC代码配置不对或周边依赖还未配置完全，部署后Runtime集群状态异常。此时部署服务调用Nuwa Runtime Read接口，ready返回false。业务在Nuwa Runtime控制台手动回滚该Runtime集群，回滚后，Runtime集群状态正常。此时部署服务调用NuwaRuntime Read接口，资源ready状态返回true。业务若使用之前的IaC代码对该NuwaRuntime集群重新部署，IaC代码未修改，Runtime集群状态正常，不触发Runtime集群的变更。 场景二 业务通过部署服务部署NuwaRuntime，变更完成后集群状态正常。业务发现IaC代码中有个配置项错误，手动在控制台上对该配置进行了修改，修改后未及时同步到IaC代码中。业务下次使用IaC代码部署时，该配置项未修改，手动修改的配置项被覆盖。

sds_jmx 功能说明 执行Java程序，采集Java进程相关指标数据。 参数配置 配置样例： _filter_sds_ip：127.0.0.1 # 需要采集的进程所运行的主机，可远程采集 sds_authentication # jmx验证信息文件保存的路径 whitelist：ColumnFamily_app20170410_duplicate_bill_check_WriteLatency_Count #jmx指标白名单 blacklist"："" # 黑名单，jmx指标的objectname，采集到的指标中需要剔除的指标，逗号分隔 match_metrics_keyword # 指标匹配关键字，过滤出匹配的指标 消息样例及含义说明 { "plugin_id":"sds_jmx", #单位： | 类型：string | 说明：插件名 "metric":[{ "node":"bj-sds-ad-cs21-11-72-43", #单位： | 类型：string | 说明：主机名，消息来源标识 "timestamp":"1532595900000", #单位： | 类型：string | 说明：字符类型时间戳 "cluster_name":"bj-sds-ad-cs21", #单位： | 类型：string | 说明：集群名称 "sds_ip_id":"xxx.0.0.1", #单位： | 类型：string | 说明：采集进程的主机IP "sds_port_id":"7199" #单位： | 类型：string | 说明：采集进程的主机端口 "ColumnFamily_app20170410_duplicate_bill_check_WriteLatency_Count":"337727861", #单位： | 类型：string | 说明：jmx指标及指标值 }] }