华为云用户手册

  • 响应示例 状态码: 200 执行基本信息 { "data" : { "execute_uuid" : "SCT2023102211473xxxxxxxxxx", "gmt_created" : 1697946452186, "gmt_finished" : 1697946763469, "execute_costs" : 311282, "creator" : "xxxxxxxxxxxcontainer1", "status" : "CANCELED", "properties" : { "script_uuid" : "SC2023101717xxxxxxxxxxxxx", "script_name" : "xjptxxxxxxxx", "current_execute_batch_index" : 1, "execute_param" : { "resourceful" : true, "timeout" : 300, "execute_user" : "root", "success_rate" : 100, "script_params" : [ ] }, "script_source" : "CUSTOM_SCRIPT" } } }
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 [数组元素] Array of JobScriptBatchListModel objects 批次列表 表3 JobScriptBatchListModel 参数 参数类型 描述 batch_index Integer 批次索引,从1开始 total_instances Integer 批次内实例节点数量 rotation_strategy String 暂停继续策略 枚举值: CONTINUE PAUSE properties String 批次标签:
  • 错误码 错误码 状态码 错误码 错误信息 描述 处理措施 400 COC.00040601 Exist script with same name: test1111_param. 存在相同名称的脚本 修改脚本名称 400 COC.00040701 Internal server error 服务内部错误 联系客服 400 COC.00040601 The paramValue is invalid. 脚本参数错误 修改脚本参数,满足填写规范 父主题: 附录
  • 响应示例 状态码: 200 返回结果 { "data" : { "batch_index" : 1, "total_instances" : 1, "execute_instances" : [ { "id" : 1588, "target_instance" : { "resource_id" : "resource_id", "agent_sn" : "agent_sn", "agent_status" : null, "region_id" : null, "project_id" : null, "properties" : { "host_name" : "host_name", "fixed_ip" : "x.x.x.x", "floating_ip" : null, "region_id" : "cn-north-7", "zone_id" : "cn-north-7c", "application" : null, "group" : null, "project_id" : null } }, "gmt_created" : 1697946452436, "gmt_finished" : 1697946763467, "execute_costs" : 311031, "status" : "CANCELED", "message" : "Script execution result" } ] } }
  • URI GET /v1/job/script/orders/{execute_uuid}/batches/{batch_index} 表1 路径参数 参数 是否必选 参数类型 描述 batch_index 是 Integer 批次index 最小值:1 最大值:20 execute_uuid 是 String 脚本工单的执行Id,取自executeJobScript和ListJobScriptOrders返回体中 最小长度:1 最大长度:26 表2 Query参数 参数 是否必选 参数类型 描述 status 否 String 实例执行状态 READY:待执行 PRO CES SING:执行中 ABNORMAL:异常 CANCELED:已取消 FINISHED:成功 枚举值: READY PROCESSING ABNORMAL CANCELED FINISHED limit 是 Integer 分页参数:每页返回记录个数限制 最小值:1 最大值:50 marker 是 Long 分页参数:上一页最后一个记录id 最小值:0 最大值:2147483647
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 batch_index Integer 批次索引,从1开始 total_instances Integer 批次内执行实例数量 execute_instances Array of ExectionInstanceModel objects 执行实例列表,分页 表4 ExectionInstanceModel 参数 参数类型 描述 id Long 主键id target_instance ResourceInstance object 目标实例 gmt_created Long 创建时间 gmt_finished Long 完成时间 execute_costs Long 耗时时间,单位:秒 status String 实例执行状态 枚举值: READY PROCESSING ABNORMAL CANCELED FINISHED ROLLBACKED message String 实例执行日志 表5 ResourceInstance 参数 参数类型 描述 resource_id String ecs对应的主机id agent_sn String agent纳管id agent_status String agent纳管状态 properties ResourceInstanceProp object 主机附加属性 表6 ResourceInstanceProp 参数 参数类型 描述 host_name String 主机名 未校验:长度 fixed_ip String 内网ip 未校验: 格式,长度 floating_ip String 弹性公网ip 未校验: 格式,长度 region_id String 区域 未校验: 长度 zone_id String 可用区 application String CMDB应用,CMDB应用视图才有值。类似管理面的云服务 group String CMDB分组,CMDB应用视图才有值。类似管理面的schema project_id String 实例的 project_id 需要消费,建议必填 未校验长度
  • 响应示例 状态码: 200 { "data" : { "total_instance" : 1, "execute_statistics" : [ { "instance_status" : "READY", "instance_count" : 0, "batch_indexes" : [ ] }, { "instance_status" : "PROCESSING", "instance_count" : 0, "batch_indexes" : [ ] }, { "instance_status" : "ABNORMAL", "instance_count" : 0, "batch_indexes" : [ ] }, { "instance_status" : "CANCELED", "instance_count" : 1, "batch_indexes" : [ 1 ] }, { "instance_status" : "FINISHED", "instance_count" : 0, "batch_indexes" : [ ] } ] } }
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 total_instance Integer 实例总量 execute_statistics Array of ExectuionStatistic objects 每个状态一个count,里面记录该状态的总数量,以及包含该状态的批次列表 表3 ExectuionStatistic 参数 参数类型 描述 instance_status String 执行实例状态 instance_count Integer 该状态下执行实例个数 batch_indexes Array of integers 该状态下批次index列表
  • 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 batch_index 否 Integer 适用于批次操作时 最小值:1 最大值:20 instance_id 否 Long 适用于实例操作时 非script_execute_instance_do中iD,需要新增字段 最小值:1 最大值:9223372036854775807 operation_type 是 String 操作类型:取消实例、跳过批次、取消整个工单、暂停整个工单、继续整个工单 CANCEL_INSTANCE:取消实例 SKIP_BATCH:跳过批次 CANCEL_ORDER:取消整个工单 PAUSE_ORDER:暂停整个工单 CONTINUE_ORDER:继续整个工单 枚举值: CANCEL_INSTANCE SKIP_BATCH CANCEL_ORDER PAUSE_ORDER CONTINUE_ORDER
  • 响应示例 状态码: 200 执行分页数据 { "data": { "total": 222, "data": [ { "order_id": 74, "order_name": "071201", "execute_uuid": "SCT20230724201xxxxxxxxxxxx", "gmt_created": 1690200829451, "gmt_finished": 1690200850293, "execute_costs": 20842, "creator": "xxxxxxxxxxxcontainer1", "status": "CANCELED", "properties": { "region_ids": "cn-north-7" } }, { "order_id": 73, "order_name": "071201", "execute_uuid": "SCT2023072411xxxxxxxxxxxxx", "gmt_created": 1690168434460, "gmt_finished": 1690168443277, "execute_costs": 8817, "creator": "xxxxxxxxxxxcontainer1", "status": "FINISHED", "properties": { "region_ids": "cn-north-7" } }, { "order_id": xx, "order_name": "xxx", "execute_uuid": "SCT2023072217181xxxxxxxxxx", "gmt_created": 1690017490247, "gmt_finished": null, "execute_costs": null, "creator": "xxxxxxxxxxxcontainer1", "status": "ABNORMAL", "properties": { "region_ids": "cn-north-7" } }, { "order_id": 71, "order_name": "patch_730", "execute_uuid": "SCT2023071915xxxxxxxxxxxxx", "gmt_created": 1689753553241, "gmt_finished": 1689753579363, "execute_costs": 26122, "creator": "xxxxxxxxxxxcontainer1", "status": "FINISHED", "properties": { "region_ids": "cn-north-7" } }, { "order_id": 70, "order_name": "111", "execute_uuid": "SCT2023071915xxxxxxxxxxxxx", "gmt_created": 1689751168547, "gmt_finished": null, "execute_costs": null, "creator": "xxxxxxxxxxxcontainer1", "status": "ABNORMAL", "properties": { "region_ids": "cn-north-7" } } ] } }
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 total Long 总条数 data JobScriptOrderListModel object 单页数据列表 表3 JobScriptOrderListModel 参数 参数类型 描述 order_id Long 主键id,对应job_order_do的主键 最小值:1 最大值:9223372036854775807 order_name String 工单名称 最小长度:1 最大长度:64 execute_uuid String 列表跳转到详情时,用这个uuid,对应execute_data_do的execute_uuid gmt_created Long 创建时间 gmt_finished Long 完成时间 execute_costs Long 执行耗时,单位:秒 creator String 创建人 status String 工单状态 枚举值: READY PROCESSING ABNORMAL PAUSED CANCELED FINISHED properties JobScriptOrderListProp object 标签:区域信息等 表4 JobScriptOrderListProp 参数 参数类型 描述 region_ids String CMDB服务实例区域id,可能有多个
  • URI GET /v1/job/script/orders 表1 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 分页参数 最小值:1 最大值:100 marker 否 Long 分页参数 最小值:1 最大值:2147483647 start_time 否 Long 创建时间开始 最小值:1 最大值:2147483647 end_time 否 Long 创建时间结束 最小值:1 最大值:2147483647 creator 否 String 创建人 最小长度:1 最大长度:64 status 否 String 工单状态 READY:待执行 PROCESSING:执行中 ABNORMAL:异常 PAUSED:暂停 CANCELED:已取消 FINISHED:成功 枚举值: READY PROCESSING ABNORMAL PAUSED CANCELED FINISHED
  • 概述 云运维中心(Cloud Operations Center,简称COC)为用户提供集中、简化、一站式的运维工作台,满足客户集中运维诉求。承载华为云确定性运维业务场景,提供变更管理、批量运维等核心特性,实现在安全合规的前提下,提升用户运维能力成熟度和云上运维效率。 COC提供以下功能: 运维 态势感知 大屏,面向不同角色运维人员的专属运维BI看板,辅助管理层洞察决策和优化改进。 资源全生命周期管理,提供资源定义、申请、发放、运维、变配&续期、回收等全生命周期管理,构筑资源管理驾驶舱。 变更风控&作业可信,融合华为SRE安全生产最佳实践的变更管控模型,助力客户作业可信和稳定可靠。 标准化故障管理,加持WarRoom作战驾驶舱,实现故障高效协同和快速恢复。 智能化混沌演练,全旅程混沌工程解决方案,颠覆传统被动运维模式,推动客户向主动运维变革。 父主题: 使用前必读
  • 规则评估结果 当触发规则评估后,会生成相应的评估结果(PolicyState)。 使用JSON表达式来表示一个评估结果,如表1所示。 表1 规则评估结果-JSON表达式格式 参数 定义 说明 domain_id 帐号ID 用于区分用户。规则评估结果的domain_id不会为空。 resource_id 评估结果所属资源的ID - resource_name 评估结果所属资源的名称 - resource_provider 资源所属的服务 - resource_type 资源类型 - trigger_type 触发类型 包含如下值: resource period compliance_state 合规结果 包含如下值: Compliant:合规 NonCompliant:不合规 policy_assignment_id 评估结果对应合规规则的ID - policy_definition_id 评估结果对应合规策略的ID - evaluation_time 评估时间戳 - 如下JSON表示了一个不合规的评估结果: { "domain_id": "domainidforpolicy", "resource_id": "special-ecs1-with-public-ip-with-tag", "resource_name": "ecs1-with-public-ip-with-tag", "resource_provider": "ecs", "resource_type": "cloudservers", "trigger_type": "resource", "compliance_state": "NonCompliant", "policy_assignment_id": "5fa9f8a2501013093a192b07", "policy_definition_id": "5fa9f8a2501013093a192b06", "evaluation_time": 1604974757084 } 父主题: 合规规则概念详解
  • 修订记录 版本日期 变更说明 2023-12-13 第十七次正式发布。 本次变更如下: 系统内置预设策略章节内容优化。 2023-11-20 第十六次正式发布。 新增: 组织合规规则包相关内容。 跨帐号授权新增资源记录器支持转储到加密的OBS桶的相关内容。 2023-10-11 第十五次正式发布。 新增: 查看资源合规章节。 查看不合规资源章节。 2023-08-18 第十四次正式发布。 新增合规规则包特性:合规规则包是多个合规规则的集合,帮助您统一创建和管理合规规则,并统一查询合规性数据。 2023-06-07 第十三次正式发布。 本次变更如下: 服务名称变更:“资源管理服务 RMS ”更名为“配置审计 Config”。 2023-04-12 第十二次正式发布。 新增: 组织合规规则章节。 查看聚合的合规规则章节。 高级查询章节。 2023-03-10 第十一次正式发布。 本次变更如下: “我的资源”特性更名为“资源清单”。 2023-02-17 第十次正式发布。 新增: 事件监控章节。 资源聚合器章节。 2022-12-30 第九次正式发布。 新增“自定义策略”特性: 添加自定义合规规则; 示例函数(Python); 事件。 2022-08-24 第八次正式发布。 新增跨帐号授权:配置资源记录器时支持跨帐号授予 SMN 主题和OBS桶权限。 2022-04-06 第七次正式发布。 新增:“高级查询”特性: 高级查询:高级查询概述,高级查询使用限制,新建查询,查看查询,修改查询,删除查询。 ResourceQL语法:语法概览,语法文档,函数列表。 2021-09-09 第六次正式发布。 新增:“资源清单”页面中怎么无法删除资源?章节。 2021-07-16 第五次正式发布。 本次变更如下: Console产品目录变更:中文“管理与部署”入口更名为“管理与监管”,英文“计算”入口更名。 2020-12-28 第四次正式发布。 新增: 云审计 -记录配置审计章节。 支持云审计的关键操作。 如何查看审计日志。 2020-12-16 第三次正式发布。 新增:常见问题。 2020-12-14 第二次正式发布。 新增:“资源变更消息存储”特性: 资源变更消息存储; 资源变更消息存储完成的 消息通知 模型; 资源变更消息存储模型。 2020-11-30 第一次正式发布。 资源清单:查看资源,筛选资源,导出资源,查看资源关系,查看资源历史。 资源记录器:开启资源记录器,配置资源记录器,修改资源记录器。 资源合规:添加合规规则,触发合规规则,编辑合规规则。
  • 购买流程 注意事项: 购买时需使用华为云账号,购买时必须购买SparkPack 企业ERP组合商品,不能单独购买原子商品。 购买时SparkPack 企业ERP用户数量、RDS License用户数量需要手动选择且用户数量必须一样,购买后无法变更。该用户数量指的是最大的注册用户数量,不是并发用户数量 整个开通过程约40分钟左右,开通完成后,华为云会自动把ERP开通完成消息以及登录信息发送到华为云主账号填写的邮箱地址和手机号码。 父主题: 购买ERP商品
  • 用户管理 企业管理员使用华为云账号购买完ERP后,华为云账号注册使用的邮箱和手机会收到开通完成短信。企业管理员可以登录IMC进行部门管理、用户管理、应用授权、角色管理等。用户的创建流程为创建部门、创建用户(选择部门)、应用授权(含角色管理)、角色管理。 部门管理:您可以根据ERP使用的部门创建组织。部门只用于人员管理,不做为ERP权限的管理。ERP的权限由应用授权的角色以及登录ERP系统内分配的权限决定。 用户管理:您可以根据使用ERP系统的人员创建IMC的企业用户,企业用户创建后可以访问IMC。 应用授权:应用授权是指企业管理员在IMC上给企业用户分配访问ERP应用的权限,可授权的企业用户数量不能超过已购买的套餐用户数量。 应用授权:您可以给企业用户授权访问SparkPack 企业ERP应用,授权之后的企业用户可以访问ERP。 角色管理:应用授权后,您可以根据实际情况调整应用的角色,默认有两个角色,一个是管理员,一个是用户。管理员角色的用户授权后是ERP的管理员,用户角色的用户授权后是ERP普通用户。 ERP系统内权限管理:企业用户在ERP获得应用授权后,可以登录访问ERP系统。但要取得具体的ERP相关业务模块比如财务、采购、销售等的使用权限,需要ERP管理员在ERP系统内部对用户进行权限分配及管理。 部门管理 用户管理 ERP应用授权管理 父主题: 企业管理员指南
  • SparkPack企业ERP,使用过程中弹出提示“检测到您与服务器的连接中断” 问题描述: 使用标准客户端时,弹出“检测到您与服务器的连接中断,正在努力为您重连中…“ 可能原因: 您的本地网络环境不稳定; 如果出现全员连接问题,且排除完本地网络问题,请即刻提单给华为云SparkPack 企业ERP解决方案团队处理。 处理办法: 请联系本地网络管理员检查本地网络问题; 提升网络容错率,修改重试连接次数以及超时时间:重连次数20次后会话超时,连接中断。具体修改方法为: 点击SparkPack企业ERP客户端(原华为云RIS客户端)-设置-断线重连次数设置: 父主题: FAQ
  • 无法连接DTW 问题现象 登录DTW提示error code:-111,unable to access SBO-Common database 解决方案 这是登录DTW工具的用户名,相较于IMC用户名称多一个 域名 s-erp,故登录时账号前面加上域名“s-erp\” 例:IMC用户名称为hzx0011,登录DTW的账号名就是s-erp\hzx0011,密码是登录IMC的密码,具体可复制下图登录页面的DTW工具下的账号名。 父主题: FAQ
  • 如何修改用户登录密码 问题现象 用户不知道该如何修改登录密码 解决方案 有三种方式修改用户登录密码 1)方式一:登录后在用户工作台右上角点击修改密码 输入原密码与新密码完成修改 2)方式二:若忘记原密码,可在用户工作台登录页面点击忘记密码,进行重置密码 输入手机号、选择企业,输入短信验证码与新密码完成修改 3)方式三:联系企业管理员在管理后台重置密码 企业管理员进入IMC管理后台,点击账号管理 点击重置密码 输入短信验证码 用户可收到新密码的短信 使用新密码登录 登录后修改密码 父主题: FAQ
  • SparkPack企业ERP打开应用提示“如果无法启动客户端,请下载客户端或重新打开应用” 问题描述:如果无法启动客户端,请下载客户端或重新打开应用。 如下图所示: 可能原因: 您本地电脑未安装SparkPack 企业ERP客户端。 您本地电脑的CPU和内存使用率高,或者硬件配置较低。 处理办法: 请在本地电脑上下载并安装SparkPack 企业ERP客户端,安装后重新打开。 如果重新安装客户端后仍无法打开,请联系华为云SparkPack 企业ERP解决方案团队或项目经理获取帮助。 父主题: FAQ
  • 响应示例 状态码: 200 OK { "description" : "api-test", "feature" : "NOTEBOOK", "flavor" : "modelarts.vm.cpu.2u", "id" : "f9937afa-4451-42db-a76b-72d624749f66", "image" : { "description" : "description", "id" : "e1a07296-22a8-4f05-8bc8-e936c8e54090", "name" : "notebook2.0-mul-kernel-cpu-cp36", "swr_path" : "swr.xxxxx.com/atelier/notebook2.0-mul-kernel-cpu-cp36:3.3.2-release_v1", "tag" : "3.3.2-release_v1", "type" : "BUILD_IN" }, "lease" : { "create_at" : 1638841744515, "duration" : 3600000, "enable" : true, "type" : "TIMING", "update_at" : 1638841744515 }, "name" : "notebooks_test", "status" : "CREATING", "token" : "3eff13f2-3d70-5456-6dc7-e3f99f562022", "workspace_id" : "0" }
  • Notebook基础镜像列表 ModelArts开发环境提供Docker容器镜像,可作为预构建容器运行。预置镜像里面包含PyTorch,Tensorflow,MindSpore等常用AI引擎框架,镜像命名以AI引擎为主,并且每个镜像里面都预置了很多常用包,用户可以直接使用而无需重新安装。 开发环境预置镜像分为X86和ARM两类: 表1 X86预置镜像列表 引擎类型 镜像名称 PyTorch pytorch1.8-cuda10.2-cudnn7-ubuntu18.04 pytorch1.10-cuda10.2-cudnn7-ubuntu18.04 pytorch1.4-cuda10.1-cudnn7-ubuntu18.04 Tensorflow tensorflow2.1-cuda10.1-cudnn7-ubuntu18.04 tensorflow1.13-cuda10.0-cudnn7-ubuntu18.04 MindSpore mindspore1.7.0-cuda10.1-py3.7-ubuntu18.04 mindspore1.7.0-py3.7-ubuntu18.04 mindspore1.2.0-cuda10.1-cudnn7-ubuntu18.04 mindspore1.2.0-openmpi2.1.1-ubuntu18.04 无AI引擎(专用于 自定义镜像 的基础镜像) conda3-cuda10.2-cudnn7-ubuntu18.04 conda3-ubuntu18.04 表2 ARM预置镜像列表 引擎类型 镜像名称 TensorFlow tensorflow1.15-mindspore1.7.0-cann5.1.0-euler2.8-aarch64 tensorflow1.15-cann5.1.0-py3.7-euler2.8.3 MindSpore mindspore_1.10.0-cann_6.0.1-py_3.7-euler_2.8.3 mindspore_1.9.0-cann_6.0.0-py_3.7-euler_2.8.3 mindspore1.7.0-cann5.1.0-py3.7-euler2.8.3 mindspore1.7.0-cuda10.1-py3.7-ubuntu18.04 父主题: Notebook基础镜像介绍
  • 快速购买实时分析集群 进入购买 MRS 集群页面。 在购买集群页面,选择“快速购买”页签。 参考下列参数说明配置集群基本信息,参数详细信息请参考购买自定义集群。 区域:默认即可。 计费模式:选择“按需计费”时,可能需要冻结一定的保证金。具体内容请参见 计费说明。 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。例如:“mrs_20201130”。 集群类型:默认即可。 版本类型:默认选择普通版(不同版本提供的组件有所不同,请根据需要选择版本类型)。 集群版本:默认选择最新版本即可(不同版本集群提供的组件有所不同,请根据需要选择集群版本)。 组件选择:选择“实时分析集群”。 可用区:默认即可。 当您为IES购买MRS时,请选择可用区为“边缘可用区”。 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网:默认即可。 企业项目:默认即可。 CPU架构:默认即可。 集群节点:请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 Kerberos认证:选择是否开启Kerberos认证。购买集群后,不支持修改。 用户名:默认为“root/admin”,root用于远程登录E CS 机器,admin用于登录集群管理页面。 密码:设置root用户和admin用户密码。 确认密码:再次输入设置的root用户和admin用户密码。 图1 实时分析集群 图2 集群节点配置 勾选通信安全授权,通信安全授权详情请参考授权安全通信。 单击“立即购买”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后,不支持修改。 如果您对价格有疑问,可以单击页面左下角“了解计费详情”,根据计费详情来了解产品价格。 单击“返回集群列表”,可以查看到集群创建的状态。单击“访问集群”,可以查看集群详情。 集群创建的状态过程请参见表1中的“状态”参数说明。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。
  • 快速购买Kafka流式集群 进入购买MRS集群页面。 在购买集群页面,选择“快速购买”页签。 参考下列参数说明配置集群基本信息,参数详细信息请参考购买自定义集群。 区域:默认即可。 计费模式:选择“按需计费”时,可能需要冻结一定的保证金。具体内容请参见 计费说明。 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。例如:“mrs_20200321”。 集群类型:选择“流式集群”。 版本类型:选择“普通版”。 集群版本:根据实际需求选择集群版本。 组件选择:选择“Kafka流式集群”。 可用区:默认即可。 当您为IES购买MRS时,请选择可用区为“边缘可用区”。 企业项目:默认即可。 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网:默认即可。 CPU架构:默认即可。MRS 3.x版本无该参数。 集群节点:请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 LVM:默认即可。MRS 3.x版本暂时不支持该参数。 Kerberos认证:选择是否开启Kerberos认证。购买集群后,不支持修改。 用户名:默认为“root/admin”,root用于远程登录ECS机器,admin用于登录集群管理页面。 密码:设置root用户和admin用户密码。 确认密码:再次输入设置的root用户和admin用户密码。 图1 Kafka流式集群 图2 集群节点配置 勾选通信安全授权,通信安全授权详情请参考授权安全通信。 单击“立即购买”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后,不支持修改。 如果您对价格有疑问,可以单击页面左下角“了解计费详情”,根据计费详情来了解产品价格。 单击“返回集群列表”,可以查看到集群创建的状态。单击“访问集群”,可以查看集群详情。 集群创建的状态过程请参见表1中的“状态”参数说明。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。
  • 自定义集群拓扑调整说明 表3 拓扑调整说明 服务名称 依赖关系 角色名称 角色业务部署建议 说明 OMS Server - OMSServer 部署在Master节点上,不支持修改。 - ClickHouse 依赖ZooKeeper CHS(ClickHouseServer) 所有节点均可部署。 角色实例部署数量范围:偶数个,2~256。 部署了该角色的非Master节点组会被认为是Core节点类型。 CLB(ClickHouseBalancer) 所有节点均可部署。 角色实例部署数量范围:2~256。 - ZooKeeper - QP(quorumpeer) 只能部署在Master节点上。 角色实例部署数量范围:3~9,步长为2。 - Hadoop 依赖ZooKeeper NN(NameNode) 只能部署在Master节点上。 角色实例部署数量范围:2。 - HFS(HttpFS) 只能部署在Master节点上。 角色实例部署数量范围:0~10。 - JN(JournalNode) 只能部署在Master节点上。 角色实例部署数量范围:3~60,步长为2。 - DN(DataNode) 所有节点均可部署。 角色实例部署数量范围:3~10000。 部署了该角色的非Master节点组会被认为是Core节点类型。 RM(ResourceManager) 只能部署在Master节点上。 角色实例部署数量范围:2。 - NM(NodeManager) 所有节点均可部署。 角色实例部署数量范围:3~10000。 - JHS(JobHistoryServer) 只能部署在Master节点上。 角色实例部署数量范围:1~2。 - TLS(TimelineServer) 只能部署在Master节点上。 角色实例部署数量范围:0~1。 - Presto 依赖Hive PCD(Coordinator) 只能部署在Master节点上。 角色实例部署数量范围:2。 - PWK(Worker) 所有节点均可部署。 角色实例部署数量范围:1~10000。 - Spark2x 依赖Hadoop 依赖Hive 依赖ZooKeeper JS2X(JD BCS erver2x) 只能部署在Master节点上。 角色实例部署数量范围:2~10。 - JH2X(JobHistory2x) 只能部署在Master节点上。 角色实例部署数量范围:2。 - SR2X(SparkResource2x) 只能部署在Master节点上。 角色实例部署数量范围:2~50。 - IS2X(IndexServer2x) (可选)只能部署在Master节点上。 角色实例部署数量范围:0~2,步长为2。 - HBase 依赖Hadoop HM(HMaster) 只能部署在Master节点上。 角色实例部署数量范围:2。 - TS(ThriftServer) 所有节点均可部署。 角色实例部署数量范围:0~10000。 - RT(RESTServer) 所有节点均可部署。 角色实例部署数量范围:0~10000。 - RS(RegionServer) 所有节点均可部署。 角色实例部署数量范围:3~10000。 - TS1(Thrift1Server) 所有节点均可部署。 角色实例部署数量范围:0~10000。 若集群安装了Hue服务并且需要在Hue WebUI使用HBase,HBase服务需安装此实例。 Hive 依赖Hadoop 依赖DBService MS(MetaStore) 只能部署在Master节点上。 角色实例部署数量范围:2~10。 - WH(WebHCat) 只能部署在Master节点上。 角色实例部署数量范围:1~10。 - HS(HiveServer) 只能部署在Master节点上。 角色实例部署数量范围:2~80。 - Hue 依赖DBService H(Hue) 只能部署在Master节点上。 角色实例部署数量范围:2。 - Sqoop 依赖Hadoop SC(SqoopClient) 所有节点均可部署。 角色实例部署数量范围:1~10000。 - Kafka 依赖ZooKeeper B(Broker) 所有节点均可部署。 角色实例部署数量范围:3~10000。 - Flume - MS(MonitorServer) 只能部署在Master节点上。 角色实例部署数量范围:1~2。 - F(Flume) 所有节点均可部署。 角色实例部署数量范围:1~10000。 部署了该角色的非Master节点组会被认为是Core节点类型。 Tez 依赖Hadoop 依赖DBService 依赖ZooKeeper TUI(TezUI) 只能部署在Master节点上。 角色实例部署数量范围:1~2。 - Flink 依赖ZooKeeper 依赖KrbServer 依赖DBService 依赖Hadoop FR(FlinkResource) 所有节点均可部署。 角色实例部署数量范围:1~10000。 - FS(FlinkServer) 所有节点均可部署。 角色实例部署数量范围:0~2。 - Oozie 依赖Hadoop 依赖DBService 依赖ZooKeeper O(oozie) 只能部署在Master节点上。 角色实例部署数量范围:2。 - Impala 依赖Hadoop 依赖Hive 依赖DBService 依赖ZooKeeper StateStore 只能部署在Master节点上。 角色实例部署数量范围:1。 - Catalog 只能部署在Master节点上。 角色实例部署数量范围:1。 - Impalad 所有节点均可部署。 角色实例部署数量范围:1~10000。 - Kudu - KuduMaster 只能部署在Master节点上。 角色实例部署数量范围:3或者5。 - KuduTserver 所有节点均可部署。 角色实例部署数量范围:3~10000。 - Ranger 依赖DBservice RA(RangerAdmin) 只能部署在Master节点上。 角色实例部署数量范围:1~2。 - USC(UserSync) 只能部署在Master节点上。 角色实例部署数量范围:1。 - TSC(TagSync) 所有节点均可部署。 角色实例部署数量范围:0~1。 - HetuEngine (仅适用于MRS 3.1.2-LTS.3及以后版本) 依赖Hadoop 依赖DBService 依赖Hive 依赖ZooKeeper 依赖KrbServer 依赖Yarn 依赖HDFS HSB(HSBroker) 所有节点均可部署。 角色实例部署数量范围:2~50。 - HSC(HSConsole) 所有节点均可部署。 角色实例部署数量范围:2。 - HSF(HSFabric) 所有节点均可部署。 角色实例部署数量范围:0~50。 - QAS(仅适用于MRS 3.2.0-LTS.1及以后版本) 所有节点均可部署。 角色实例部署数量范围:0~2。 - IoTDB(仅适用于MRS 3.2.0-LTS.1及以后版本) 依赖KrbServer CN(ConfigNode) 只能部署在Master节点上。 角色实例部署数量范围:3~9,步长为2。 - IoTDBS(IoTDBServer) 所有节点均可部署。 角色实例部署数量范围:3~256。 - CDL(仅适用于MRS 3.2.0-LTS.1及以后版本) 依赖DBService 依赖HDFS 依赖Hive 依赖KrbServer 依赖Kafka 依赖Spark 依赖ZooKeeper 依赖Yarn CC(CDLConnector) 所有节点均可部署。 角色实例部署数量范围:1~256。 - CS(CDLService) 所有节点均可部署。 角色实例部署数量范围:1~2。 -
  • 创建集群时配置RDS数据连接 该操作指导用户在创建MRS集群时配置RDS数据连接。 进入购买MRS集群页面。 在购买集群页面,选择“自定义购买”。 在软件配置中,参考表2配置“元数据 ”,其他参数请参考购买自定义集群进行配置并创建集群。 表2 数据连接参数说明 参数 参数说明 元数据 选择“外置数据连接”。使用外部数据源元数据,若集群异常或删除时将不影响元数据,适用于存储计算分离的场景。 支持Hive或Ranger组件的集群支持该功能。 组件名 当“外置数据连接”功能开启时,该参数有效。用于表示可以设置外部数据源的组件类型。 Hive Ranger 数据连接类型 当“外置数据连接”功能开启时,该参数有效。用于表示外部数据源的类型。 Hive组件支持的数据连接类型: RDS服务PostgreSQL数据库 RDS服务MySQL数据库 “云数据库 GaussDB (for MySQL)”(仅MRS 3.1.2-LTS.3和MRS 3.1.5版本支持) 本地数据库 Ranger组件支持的数据连接类型: RDS服务MySQL数据库 本地数据库 数据连接实例 当“数据连接类型”选择“本地数据库”时无需配置该参数。用于表示MRS集群与RDS服务数据库连接的名称,该实例必须先创建才能在此处引用。可单击“创建数据连接”进行创建,具体请参考数据连接前置操作和创建RDS数据连接进行操作。 图2 创建集群时配置数据连接
  • 快速购买Hadoop分析集群 进入购买MRS集群页面。 在购买集群页面,选择“快速购买”页签。 参考下列参数说明配置集群基本信息,参数详细信息请参考购买自定义集群。 区域:默认即可。 计费模式:选择“按需计费”时,可能需要冻结一定的保证金。具体内容请参见 计费说明。 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。例如:“mrs_20180321”。 集群类型:默认即可。 版本类型:默认选择普通版(不同版本提供的组件有所不同,请根据需要选择版本类型)。 集群版本:默认选择最新版本即可(不同版本集群提供的组件有所不同,请根据需要选择集群版本)。 组件选择:选择“Hadoop分析集群”。 可用区:默认即可。 当您为IES购买MRS时,请选择可用区为“边缘可用区”。 企业项目:默认即可。 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网:默认即可。 CPU架构:默认即可。 集群节点:请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 Kerberos认证:选择是否开启Kerberos认证。购买集群后,不支持修改。 用户名:默认为“root/admin”,root用于远程登录ECS机器,admin用于登录集群管理页面。 密码:设置root用户和admin用户密码。 确认密码:再次输入设置的root用户和admin用户密码。 图1 Hadoop分析集群 图2 集群节点配置 勾选通信安全授权,通信安全授权详情请参考授权安全通信。 单击“立即购买”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后,不支持修改。 如果您对价格有疑问,可以单击页面左下角“了解计费详情”,根据计费详情来了解产品价格。 单击“返回集群列表”,可以查看到集群创建的状态。单击“访问集群”,可以查看集群详情。 集群创建的状态过程请参见表1中的“状态”参数说明。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。
  • 使用spark-submit提交任务 使用root用户登录客户端节点,执行如下命令: cd 客户端安装目录 source bigdata_env source Spark2x/component_env 安全集群(开启kerberos认证)执行命令kinit spark_test,普通模式(关闭kerberos认证)无需执行。 输入密码,完成认证(第一次登录需要修改密码)。 cd Spark2x/spark/bin sh spark-submit --queue tenant_spark --class org.apache.spark.examples.SparkPi --master yarn-client ../examples/jars/spark-examples_*.jar
  • 添加租户 在集群详情页,单击“租户管理”。 单击“添加租户”,打开添加租户的配置页面,参见以下表格内容为租户配置属性(以MRS 3.x版本集群为例)。 表2 租户参数一览表 参数名 描述 名称 例如:tenant_spark 租户类型 选择“叶子租户”。当选中“叶子租户”时表示当前租户为叶子租户,无法再添加子租户。当选中“非叶子租户”时表示当前租户可以再添加子租户。 计算资源 选择“Yarn”,系统将自动在Yarn中以租户名称创建任务队列。计算资源不选择“Yarn”时,系统不会自动创建任务队列。 配置模式 计算资源选择“Yarn”时,“配置模式”可选“基础”或“高级”。 基础:需配置“默认资源池容量 (%)”,配置当前租户在“default”资源池中使用的计算资源百分比。 高级:需配置如下参数。 权重:资源分配权重,取值范围从0到100。租户资源占比=租户权重/同级别租户总权重之和。 最小资源:保证租户能获得的资源(有抢占支持)。取值可以是父租户资源的百分比或绝对值。当租户作业量比较少时,资源会自动借给其他租户,当租户能使用的资源不满足最小资源时,可以通过抢占来要回之前借出的资源。 最大资源:租户最多能使用的资源,租户不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 预留资源:租户最多能使用的资源,租户不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 默认资源池容量 (%) 配置当前租户在“default”资源池中使用的计算资源百分比,例如“20%”。 储存资源 选择“HDFS”,第一次创建租户时,系统自动在HDFS根目录创建“/tenant”目录。存储资源不选择“HDFS”时,系统不会在HDFS中创建存储目录。 文件/目录数上限 例如:100000000000 存储空间配额 配置当前租户使用的HDFS存储空间配额。最小值为“1”,最大值为父租户的全部存储配额。单位为MB或GB。例如:50000,单位为MB。此参数值表示租户可使用的HDFS存储空间上限,不代表一定使用了这么多空间。如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。 说明: 为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”,则实际只能保存约500/2=250MB大小的文件。 存储路径 例如:“tenant/spark_test”,系统默认将自动在“/tenant”目录中以租户名称创建文件夹。例如租户“spark_test”,默认HDFS存储目录为“tenant/spark_test”。第一次创建租户时,系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。 服务 配置当前租户关联使用的其他服务资源,支持HBase。单击“关联服务”,在“服务”选择“HBase”。在“关联类型”选择“独占”表示独占服务资源,选择“共享”表示共享服务资源。 描述 配置当前租户的描述信息。 单击“确定”保存,完成租户添加。 保存配置需要等待一段时间,界面右上角弹出提示“租户创建成功。”,租户成功添加。 创建租户时将自动创建租户对应的角色、计算资源和存储资源。 新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制,不支持通过“角色管理”进行手动管理。 使用此租户时,请创建一个系统用户,并分配Manager_tenant角色以及租户对应的角色。
共100000条