华为云用户手册

  • 请求示例 如下以更新“real-time”类型的服务为例。 PUT https://{endpoint}/v1/{project_id}/services/{service_id} { "description" : "", "status" : "running", "config" : [ { "model_id" : "xxxx", "weight" : "100", "specification" : "modelarts.vm.cpu.2u", "instance_count" : 1 } ] }
  • 响应示例 状态码:200 服务详情 { "service_id" : "f76f20ba-78f5-44e8-893a-37c8c600c02f", "service_name" : "service-demo", "tenant" : "xxxxx", "project" : "xxxxx", "owner" : "xxxxx", "publish_at" : 1585809231902, "update_time" : 1585809358259, "infer_type" : "real-time", "status" : "running", "progress" : 100, "access_address" : "https://xxxxx.apigw.xxxxx.com/v1/infers/088458d9-5755-4110-97d8-1d21065ea10b/f76f20ba-78f5-44e8-893a-37c8c600c02f", "cluster_id" : "088458d9-5755-4110-97d8-1d21065ea10b", "workspace_id" : "0", "additional_properties" : { }, "is_shared" : false, "invocation_times" : 0, "failed_times" : 0, "shared_count" : 0, "operation_time" : 1586249085447, "config" : [ { "model_id" : "044ebf3d-8bf4-48df-bf40-bad0e664c1e2", "model_name" : "jar-model", "model_version" : "1.0.1", "specification" : "custom", "custom_spec" : { }, "status" : "notReady", "weight" : 100, "instance_count" : 1, "scaling" : false, "envs" : { }, "additional_properties" : { }, "support_debug" : false } ], "transition_at" : 1585809231902, "is_free" : false }
  • URI GET /v1/{project_id}/services/{service_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 service_id 是 String 服务ID,在创建服务时即可在返回体中获取,也可通过查询服务列表接口获取当前用户拥有的服务,其中service_id字段即为服务ID。
  • 响应示例 状态码:200 OK { "arch" : "x86_64", "create_at" : 1638234504492, "description" : "CPU and GPU general algorithm development and training, preconfigured with AI engine PyTorch1.8", "dev_services" : [ "NOTEBOOK", "SSH" ], "id" : "278e88d1-5b71-4766-8502-b3ba72e824d9", "name" : "pytorch1.8-cuda10.2-cudnn7-ubuntu18.04", "resource_categories" : [ "GPU", "CPU" ], "service_type" : "COMMON", "status" : "ACTIVE", "swr_path" : "swr.xxx.com/atelier/pytorch_1_8:pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20220926104358-041ba2e", "tag" : "pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20220926104358-041ba2e", "type" : "BUILD_IN", "update_at" : 1638234504492, "workspace_id" : "0" }
  • 响应参数 状态码:200 表2 响应Body参数 参数 参数类型 描述 arch String 该镜像所支持处理器架构类型。枚举值如下: X86_64:x86处理器架构。 AARCH64:ARM体系架构。 create_at Long 镜像创建的时间,UTC毫秒。 description String 该镜像所对应的描述信息,长度限制512个字符。 dev_services Array of strings 镜像支持的服务。枚举值如下: NOTEBOOK:镜像支持通过https协议访问Notebook。 SSH:镜像支持本地IDE通过SSH协议远程连接Notebook。 id String 待创建Notebook实例的镜像,需要指定镜像ID,ID格式为通用唯一识别码(Universally Unique Identifier,简称UUID)。预置镜像的ID参考查询支持的镜像列表获取。 name String 镜像名称,长度限制512个字符,支持小写字母、数字、中划线、下划线和点。 namespace String 镜像所属组织,可以在SWR控制台“组织管理”创建和查看。 origin String 指定镜像来源,可选项,默认自定义构建镜像为CUSTOMIZE。枚举值如下: CUSTOMIZE:用户自定义构建镜像。 IMAGE_SAVE:Notebook实例保存镜像。 resource_categories Array of strings 镜像支持的规格。枚举值如下: CPU GPU ASCEND service_type String 镜像支持服务类型。枚举值如下: COMMON:通用镜像。 INFERENCE: 建议仅在推理部署场景使用。 TRAIN: 建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 size Long 镜像大小(单位KB)。 status String 镜像状态。枚举值如下: INIT:初始化。 CREATING:镜像保存中,此时Notebook不可用。 CREATE_FAILED:镜像保存失败。 ERROR:错误。 DELETED:已删除。 ACTIVE:镜像保存成功,保存的镜像可以在SWR控制台查看,同时可以基于保存的镜像创建Notebook实例。 status_message String 镜像保存操作过程中,构建信息展示。 support_res_categories Array of strings 镜像支持的规格。 枚举值如下: CPU GPU ASCEND swr_path String SWR镜像地址。 tag String 镜像Tag。 type String 镜像类型。枚举值如下: BUILD_IN:系统内置镜像。 DEDICATED:用户保存的镜像。 update_at Long 镜像最后更新的时间,UTC毫秒。 visibility String 镜像可见度。枚举值如下: PRIVATE:私有镜像。 PUBLIC: 所有用户可以根据ImageId来进行只读使用。 workspace_id String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 flavor_type String 镜像的资源类型,枚举值: -ASCEND_SNT9 -ASCEND_SNT9B -ASCEND_SNT3
  • 响应示例 状态码:200 OK { "arch" : "x86_64", "create_at" : 1671786468811, "description" : "notebook2.0 20200816", "dev_services" : [ "SSH", "NOTEBOOK" ], "id" : "4e0d1854-63e5-4517-b683-a0ee97a692a1", "name" : "pytorch1_4", "namespace" : "atelier-auto", "origin" : "IMAGE_SAVE", "resource_categories" : [ "CPU", "GPU" ], "service_type" : "TRAIN", "status" : "INIT", "swr_path" : "swr.xxxxx.com/atelier-auto/pytorch1_4:20221223", "tag" : "20221223", "type" : "DEDICATED", "update_at" : 1671786468811, "visibility" : "PRIVATE", "workspace_id" : "0" }
  • 响应参数 状态码:200 表3 响应Body参数 参数 参数类型 描述 arch String 该镜像所支持处理器架构类型。枚举值如下: X86_64:x86处理器架构。 AARCH64:ARM体系架构。 create_at Long 镜像创建的时间,UTC毫秒。 description String 该镜像所对应的描述信息,长度限制512个字符。 dev_services Array of strings 镜像支持的服务。枚举值如下: NOTEBOOK:镜像支持通过https协议访问Notebook。 SSH:镜像支持本地IDE通过SSH协议远程连接Notebook。 id String 待创建Notebook实例的镜像,需要指定镜像ID,ID格式为通用唯一识别码(Universally Unique Identifier,简称UUID)。预置镜像的ID参考查询支持的镜像列表获取。 name String 镜像名称,长度限制512个字符,支持小写字母、数字、中划线、下划线和点。 namespace String 镜像所属组织,可以在SWR控制台“组织管理”创建和查看。 origin String 指定镜像来源,可选项,默认自定义构建镜像为CUSTOMIZE。枚举值如下: CUSTOMIZE:用户自定义构建镜像。 IMAGE_SAVE:Notebook实例保存镜像。 resource_categories Array of strings 镜像支持的规格。枚举值如下: CPU GPU ASCEND service_type String 镜像支持服务类型。枚举值如下: COMMON:通用镜像。 INFERENCE: 建议仅在推理部署场景使用。 TRAIN: 建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 size Long 镜像大小(单位KB)。 status String 镜像状态。枚举值如下: INIT:初始化。 CREATING:镜像保存中,此时Notebook不可用。 CREATE_FAILED:镜像保存失败。 ERROR:错误。 DELETED:已删除。 ACTIVE:镜像保存成功,保存的镜像可以在SWR控制台查看,同时可以基于保存的镜像创建Notebook实例。 status_message String 镜像保存操作过程中,构建信息展示。 support_res_categories Array of strings 镜像支持的规格。 枚举值如下: CPU GPU ASCEND swr_path String SWR镜像地址。 tag String 镜像Tag。 type String 镜像类型。枚举值如下: BUILD_IN:系统内置镜像。 DEDICATED:用户保存的镜像。 update_at Long 镜像最后更新的时间,UTC毫秒。 visibility String 镜像可见度。枚举值如下: PRIVATE:私有镜像。 PUBLIC: 所有用户可以根据ImageId来进行只读使用。 workspace_id String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 flavor_type String 镜像的资源类型,枚举值: -ASCEND_SNT9 -ASCEND_SNT9B -ASCEND_SNT3 状态码:201 Created
  • 请求示例 将运行的实例可以保存成容器镜像。设置镜像名称为“pytorch1_4”,镜像所属组织为“atelier-auto”。 { "name" : "pytorch1_4", "namespace" : "atelier-auto", "tag" : "20221223", "description" : "save from notebook-x21d", "workspace_id" : "0" }
  • 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 description 否 String 该镜像所对应的描述信息,长度限制512个字符。 name 是 String 镜像名称,长度限制512个字符,支持小写字母、数字、中划线、下划线和点。 namespace 是 String 镜像所属组织,可以在SWR控制台“组织管理”创建和查看。 tag 否 String 镜像tag,长度限制64个字符,支持大小写字母、数字、中划线、下划线和点。 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。
  • 响应参数 状态码:200 表3 响应Body参数 参数 参数类型 描述 category String 存储类型。可选值为OBS。 id String 动态挂载实例ID。 mount_path String 在Notebook实例中挂载的路径。 status String 动态挂载OBS状态。枚举值如下: MOUNTING:挂载中 MOUNT_FAILED:挂载失败 MOUNTED:已挂载 UNMOUNTING:卸载中 UNMOUNT_FAILED:卸载失败 UNMOUNTED:卸载完成 uri String OBS对象路径。 状态码:201 Created
  • 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 user_id 否 String 用户ID,获取方法请参见获取用户ID和名称。 当user_id为all时,表示对所有 IAM 子用户进行授权,如果已有部分用户已授权,则更新授权。 仅当授权类型为委托时,需要该字段。 type 否 String 授权类型。推荐使用委托方式。 可选值: agency:委托 credential:访问密钥(AK/SK) content 是 String 授权内容。 当授权类型是委托,该字段为委托名称。 当授权类型是访问密钥,该字段为访问密钥ID(AK)。 secret_key 否 String 秘密访问密钥(SK)。仅当授权类型为访问密钥时,需要该字段。 user_name 否 String 用户名,当user_id为all-users时,显示为所有用户。 user_type 否 String 用户类型,默认为iam。枚举值: iam:授权对象类型是IAM子用户,必传字段user_id。 federate:授权对象类型是联邦用户,必传字段user_name,user_id不传。 grant:授权对象类型是委托用户,必传字段user_id,值为委托用户的委托id。 all-users:授权对象类型是所有用户,必传字段user_id值是all。
  • 请求示例 上传授权。设置授权类型为“agency”,授权内容为“modelarts_agency”。 POST https://{endpoint}/v2/{project_id}/authorizations { "user_id" : "****d80fb058844ae8b82aa66d9fe****", "type" : "agency", "content" : "modelarts_agency" }
  • 响应示例 状态码:200 OK { "description" : "api-test", "feature" : "NOTEBOOK", "flavor" : "modelarts.vm.cpu.2u", "id" : "f9937afa-4451-42db-a76b-72d624749f66", "image" : { "description" : "description", "id" : "e1a07296-22a8-4f05-8bc8-e936c8e54090", "name" : "notebook2.0-mul-kernel-cpu-cp36", "swr_path" : "swr.xxxxx.com/atelier/notebook2.0-mul-kernel-cpu-cp36:3.3.2-release_v1", "tag" : "3.3.2-release_v1", "type" : "BUILD_IN" }, "lease" : { "create_at" : 1638841744515, "duration" : 5313106, "enable" : true, "update_at" : 1638843457621 }, "name" : "notebooks_test", "status" : "STOPPING", "token" : "7bddd8ff-8a0d-e063-3107-c70a862832de", "url" : "https://authoring-modelarts-xxxxx.xxxxx.com/f9937afa-4451-42db-a76b-72d624749f66/lab", "volume" : { "category" : "EFS", "ownership" : "MANAGED", "mount_path" : "/home/ma-user/work/", "capacity" : 50 }, "workspace_id" : "0" }
  • 修订记录 发布日期 修订记录 2025-05-16 第六十五次正式发布。 新增: 录屏审计策略 录屏 2025-04-30 第六十四次正式发布。 新增: 云桌面 状态。 用户管理支持企业项目。 用户操作记录 应用管控新增启用周期监控和启用强制Kill应用功能。 修改: 管理桌面 桌面操作列表优化,如开机、关机、用户管理、磁盘等操作进行分类管理,便于操作及查看。 管理员在管理控制台执行开机、关机、重建系统盘,分配用户等操作时,页面会有第二次确认提醒。 2025-04-22 第六十三次正式发布。 新增: Workspace支持的 CES 事件说明 2025-01-06 第六十二次正式发布。 新增:客户端中新增终端设备加域校验。 2024-12-25 第六十一次正式发布。 新增: 客户端中防截屏功能新增Mac客户端。 2024-09-05 第六十次正式发布。 新增: Workspace支持的CES基础监控指标。 2024-08-26 第五十九次正式发布。 新增: 开启/关闭终端与桌面绑定功能章节中新增接入时自动绑定。 2024-08-13 第五十八次正式发布。 修改: 准备软件中Windows镜像制作工具的版本号。 2024-07-30 第五十七次正式发布。 新增: 导入用户 修改: 创建用户章节中用户名规则。 2024-07-24 第五十六次正式发布。 新增: Workspace运维监控指标 2024-07-15 第五十五次正式发布。 新增: 制作UOS操作系统桌面私有镜像 制作麒麟操作系统桌面私有镜像 删除: 租户配置下的修改互联网接入端口章节。 2024-06-26 第五十四次正式发布。 管理桌面添加快照相关操作。 管理桌面池添加快照相关操作。 快照管理 2024-06-20 第五十三次正式发布。 新增:管理MFA 关闭多因素认证 2024-06-18 第五十二次正式发布。 新增: 界面总览支持查看云桌面时延分布。 2024-05-06 第五十一次正式发布。 新增: 云专线支持开启NAT映射 2024-04-01 第五十次正式发布。 新增: 配置云服务器章节中新增“关闭混合睡眠”。 2024-03-01 第四十九次正式发布。 新增: 包年/包月转按需 2024-02-27 第四十八次正式发布。 新增: 导出中心 2024-01-30 第四十七次正式发布。 新增: 分配用户 解绑用户 2023-12-30 第四十六次正式发布。 新增: 脚本管理 2023-12-11 第四十五次正式发布。 新增: 协同桌面 为用户订阅多人协同 桌面命名规则 2023-11-23 第四十四次正式发布。 修改: 更新:准备软件章节中Windows镜像制作工具链接地址。 2023-11-20 第四十三次正式发布。 修改: 更新:准备软件章节中Windows镜像制作工具链接地址。 2023-09-20 第四十二次正式发布。 新增:桌面池管理 重建系统盘中新增批量重建系统盘 2023-07-05 第四十一次正式发布。 修改: 更新准备软件章节中HW.SysAgent.Installer_64.msi 和HW.SysPrep.Installer_64.msi软件包获取地址 2023-07-03 第四十次正式发布。 新增: 第三方单点认证 桌面网络设置 2023-06-25 第三十九次正式发布。 新增: 订阅事件 2023-04-26 第三十八次正式发布。 新增: 上网管理 定时任务 用户组管理 桌面删除/退订 Linux桌面转镜像 2023-03-25 第三十七次正式发布。 修改: 准备软件中更新“Workspace_HDP_WindowsDesktop_Installer_x.x.x.iso”工具获取路径。 2023-01-12 第三十六次正式发布。 修改: 配置云服务器中调整修改跃点数脚本的配置步骤。 2022-12-14 第三十五次正式发布。 修改: 准备软件中更新“Workspace_HDP_WindowsDesktop_Installer_x.x.x.iso”工具获取路径。 2022-12-12 第三十四次正式发布。 修改: 重建系统盘中增加变更系统盘操作。 2022-12-08 第三十三次正式发布。 新增: 终端与桌面绑定关系管理 2022-11-11 第三十二次正式发布。 修改: 桌面转镜像优化操作系统描述。 2022-11-03 第三十一次正式发布。 新增: 删除磁盘 接入策略管理 配置是否屏蔽退订/删除桌面的通知邮件 数据备份与恢复 修改: 优化界面总览状态描述。 优化配置AD域中主域控制器名称描述。 修改准备软件中Windows镜像制作工具的获取地址。 2022-09-27 第三十次正式发布。 修改: 通过ISO文件注册私有镜像中修改启动方式选择“BIOS”。 配置云服务器中增加禁止Cloudbase-Init重启配置项。 2022-09-19 第二十九次正式发布。 新增: 导出策略 导入策略 修改: 重建系统盘中增加Windows操作系统的桌面检查及修改磁盘状态的参考链接。 配置云服务器中增加修改操作系统SAN策略操作步骤。 2022-09-16 第二十八次正式发布。 修改: 修改剪切板重定向的策略描述,涉及如下章节: 创建策略 编辑策略 配置高级策略参数 2022-09-06 第二十七次正式发布。 新增: 取消服务 修改: 配置云桌面可访问企业内网优化访问企业内网的端口描述。 2022-09-05 第二十六次正式发布。 修改: 管理桌面新增解绑用户和再分配用户的操作描述。 重建系统盘中优化操作描述。 2022-09-02 第二十五次正式发布。 新增: 重建系统盘 按需转包年/包月 为包年/包月桌面续费 重新激活服务状态 修改: 配置云桌面可访问企业内网增加端口使用限制。 2022-08-30 第二十四次正式发布。 新增: 企业自有认证系统认证 修改: 修改管理桌面中修改桌面名称的命名规则。 优化华为云多因素认证服务(虚拟MFA认证)配置描述,并增加终端用户操作参考链接。 2022-08-08 第二十三次正式发布。 新增: 配置多因素认证 2022-07-22 第二十二次正式发布。 修改: 变更规格修改套餐间规格变更说明。 2022-07-15 第二十一次正式发布。 修改: 变更规格增加套餐间规格变更说明。 配置云桌面可访问互联网增加多种开通途径说明。 配置云桌面和Windows AD网络互通修改RPC动态端口。 2022-07-04 第二十次正式发布。 修改: 配置AD域增加多个子项目可对接同一个Windows AD的说明。 配置云桌面可访问互联网优化配置。 配置云桌面可访问企业内网增加VPN配置说明。 2022-06-24 第十九次正式发布。 修改: 扩容磁盘优化磁盘可扩容容量说明。 配置云服务器优化禁用防火墙的配置。 2022-06-09 第十八次正式发布。 修改: 优化创建用户用户名称规则。 2022-05-30 第十七次正式发布。 修改: 更新准备软件中Workspace_HDP_WindowsDesktop_Installer_x.x.x.iso工具的获取地址。 2022-05-25 第十六次正式发布。 新增: 变更规格 修改: 界面总览优化在线人数查询描述。 2022-05-20 第十五次正式发布。 新增: 私有镜像管理 修改: 桌面转镜像修改桌面状态要求。 2022-04-29 第十四次正式发布。 修改: 配置高级策略参数新增Linux根目录挂载策略和移动客户端重定向策略。 修改网络接入方式增加切换网络接入方式的详细操作指导。 2022-04-18 第十三次正式发布。 修改: 配置云桌面和Windows AD网络互通修改需放通的端口。 2022-04-12 第十二次正式发布。 修改: 配置AD域证书认证新增启用AD服务器的LDAPS和导出其根证书的操作引导链接。 2022-03-30 第十一次正式发布。 修改: 管理桌面新增导出桌面列表操作描述。 配置AD域新增配置AD域证书认证的引导描述。 配置云桌面可访问互联网优化操作描述。 新增: 桌面转镜像 OU管理 配置AD域证书认证 2022-03-26 第十次正式发布。 2022-02-28 第九次正式发布。 修改: 调整管理桌面中各任务的呈现形式,新增修改桌面名称操作描述。 新增: 扩容磁盘 2022-01-28 第八次正式发布。 修改: 配置高级策略参数中新增水印特殊字符说明。 2022-01-26 第七次正式发布。 修改: 优化修改业务子网中子网修改描述。 2022-01-24 第六次正式发布。 修改: 修改配置AD域中虚拟私有云用户指南链接。 2022-01-05 第五次正式发布。 修改: 优化新增磁盘内容。 2021-11-22 第四次正式发布。 修改: 优化操作流程描述。 2021-10-29 第三次正式发布。 修改: 优化权限管理描述。 修改云桌面客户端软件包下载地址。 2021-10-14 第二次正式发布。 删除“进入开发者模式”章节。 删除“管理私有镜像”章节。 修改登录方式描述。 2021-09-18 第一次正式发布。
  • 常见文件后缀参考 以下仅列举常见的文档类、图片类、音频类、视频类文件的后缀格式,并非包含了所有的后缀格式,如果需要了解更多的文件后缀格式请自行通过其他渠道查询。 文档类: 常见文档类应用 主要文件后缀格式(多种类型使用|分隔) Word .docx|.doc Excel .xlsx|.xls|.xlsm|.csv PowerPoint .pptx|.ppt|.potm|.ppsx|.pptm PDF .pdf WPS Office .wps|.et|.dps Outlook .msg Open Office .odt|.ods|.odp 纯文本 .txt 富文本 .rtf Microsoft 安装程序文件 .msi WordPerfect 文档 .wpd|.wp5 图片类: .jpg|.jpeg|.png|.gif|.psd|.tif|.tiff|.raw|.eps|.svg|.bmp|.hdr 音频类: .mp3|.wma|.wav|.ape|.flac|.ogg|.aac|.adt|.adts|.aif|.aifc|.aiff 视频类: .mp4|.mkv|.mov|.wmv|.flv|.avi|.avchd|.webm|.3gp|.ts
  • 操作步骤 本小节以PostgreSQL到Hudi的实时同步为示例,介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览, 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。 选择数据连接类型:源端选PostgreSQL,目的端选Hudi。 图1 选择数据连接类型 选择集成作业类型:同步类型默认为实时,同步场景包含整库场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。 配置网络资源:选择已创建的PostgreSQL、Hudi数据连接和已配置好网络连接的migration资源组。 图3 选择数据连接及migration资源组 无可选数据连接时,可单击“新建”跳转至管理中心数据连接界面,单击“创建数据连接”创建数据连接,详情请参见配置 DataArts Studio 数据连接参数进行配置。 无可选migration资源组时,可单击“新建”跳转至购买migration资源组页面创建migration资源组配置,详情请参见购买创建数据集成资源组增量包进行配置。 检测网络连通性:数据连接和migration资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和migration资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和migration资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考数据源和资源组网络不通如何排查?章节进行排查。 配置源端参数。 各同步场景下选择需要同步库表的方式请参考下表。 表5 选择需要同步的库表 同步场景 配置方式 整库 选择需要迁移的PostgreSQL库表。 图4 选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 配置目的端参数。 源库表和目标匹配策略。 各同步场景下源端库表和目标端库表的匹配策略请参考下表。 表6 源库表和目标匹配策略 同步场景 配置方式 整库 库匹配策略。 与来源库同名:数据将同步至与来源PostgreSQL 库名相同的Hudi库中。 自定义:数据将同步至自行指定的Hudi库中。 表匹配策略。 与来源表同名:数据将同步至与来源PostgreSQL 库名相同的Hudi表中。 自定义:数据将同步至自行指定的Hudi表中。 图5 整库场景下源库表和目标匹配策略 说明: 自定义匹配策略时,支持用内置变量#{source_db_name}和#{source_table_name}标志来源的库名和表名,其中表匹配策略必须包含#{source_table_name}。 Hudi参数配置。 其余Hudi目的端参数说明请参考下表。 图6 Hudi目的端配置项 表7 Hudi目的端配置项 配置项 默认值 单位 配置说明 数据存储路径 - - Hudi自动建表时的warehouse路径,每张表会在warehouse路径下创建子目录。支持填写HDFS和OBS路径,路径格式参考: OBS路径:obs://bucket/warehouse。 HDFS路径:/tmp/warehouse。 Hudi表属性全局配置 - - 支持通过参数配置部分高级功能,参数详情可参考Hudi高级配置一览表。 表8 Hudi高级配置一览表 参数名 参数类型 默认值 单位 参数说明 index.type string BLOOM - Hudi表索引类型。 支持BLOOM和BUCKET索引,数据量较大场景下强烈建议使用BUCKET索引性能更好。 hoodie.bucket.index.num.buckets int 256 个 Hudi表单分区下Bucket桶数。 说明: 使用Hudi BUCKET表时需要设置Bucket桶数,桶数设置关系到表的性能,需要格外引起注意。 非分区表桶数 = MAX(单表数据量大小(G)/2G*2,再向上取整,4)。 分区表桶数 = MAX(单分区数据量大小(G)/2G*2,再后向上取整,1)。 其中,要注意的是: 需要使用的是表的总数据大小,而不是压缩以后的文件大小。 桶的设置以偶数最佳,非分区表最小桶数请设置4个,分区表最小桶数请设置1个。 changelog.enabled boolean false - Hudi changelog功能开关,开启后Migration作业可输出DELETE和UPDATE BEFORE数据。 logical.delete.enabled boolean true - 逻辑删除开关,changelog开启时必须关闭逻辑删除。 hoodie.write.liststatus.optimized boolean true - 写log文件时是否开启liststatus优化。涉及到大表和分区数据量多的作业,在启动时list会非常耗时,可能导致作业启动超时,建议关闭。 hoodie.index.liststatus.optimized boolean false - 定位数据时是否开启liststatus优化。涉及到大表和分区数据量多的作业,在启动时list会非常耗时,可能导致作业启动超时,建议关闭。 compaction.async.enabled boolean true - 异步compaction开关。compaction操作一定程度会影响实时任务的写入性能,如果用户使用外置的compaction操作对hudi进行compaction,可以考虑设置为false关闭实时处理集成作业的compaction操作。 compaction.schedule.enabled boolean true - 生成compaction计划的开关。compaction计划必须由本服务生成,计划的执行可以交给Spark。 compaction.delta_commits int 5 次 生成compaction request的频率。compaction request生成频率降低可以使得compaction频率降低从而提升作业性能。如果hudi增量数据较小。可以考虑增大该值。 说明: 例如配置为40,即每40次commit生成一个compaction request,因为Migration每分钟生成1个commit,那么每个compaction request将间隔40分钟。 clean.async.enabled boolean true - 做历史版本数据文件清理的开关。 clean.retain_commits int 30 次 要保留的commit数。这些commit关联的数据文件版本将被保留 num_of_commits * time_between_commits 这么长的时间,建议配置为2倍的compaction.delta_commits。 说明: 例如配置为80,因为Migration每分钟生成1个commit,那么超过80分钟后如果有旧版本数据文件 ,则会生成clean request,且在执行clean时保留最近80个commit。 hoodie.archive.automatic boolean true - Hudi commit文件老化开关。 archive.min_commits int 40 次 将旧版commit归档到日志文件中时要保留不归档的最小commit数。建议配置成clean.retain_commits + 1。 说明: 例如配置成81,那么在触发归档动作时,将会保留最近81次commit文件。 archive.max_commits int 50 次 触发归档动作的commit数。建议配置成archive.min_commits + 20。 说明: 例如配置成101,那么将在生成101个commit文件后触发归档commit文件动作。 为了达到Migration作业性能最优,建议使用Hudi Bucket索引的MOR表,并根据实际数据量配置Bucket桶数。 为了保证Migration作业的稳定性,建议将Hudi Compaction单独拆成Spark作业交由 MRS 执行,在Migration任务里仅开启生成compaction计划,具体可以参考如何配置Hudi Compaction的Spark周期任务?。 刷新源表和目标表映射,检查映射关系是否正确,同时可根据需求修改表属性、添加附加字段,并通过“自动建表”能力在目的端Hudi数据库中建出相应的表。 图7 源表与目标表映射 同步主键 Hudi表必须设置“同步主键”,在源端为非主键表时,表映射会失败。 表属性编辑 单击操作列“表属性编辑”可配置Hudi表属性,包含表类型,分区类型及表自定义属性。 图8 Hudi表属性配置 表类型:Hudi的表类型,可选MERGE_ON_READ和COPY_ON_WRITE。 分区类型:Hudi表分区类型,可选无分区、时间分区、自定义分区。 其中时间分区需要用户指定一个源端字段名,选择一个时间转换格式。 比如时间分区用户指定一个源端字段名src_col_1,选择一个时间转换格式,日(yyyyMMdd)、月(yyyyMM)、年(yyyy),自动建表时会在Hudi表默认创建一个cdc_partition_key的字段,系统会根据配置的时间转换格式将源端字段(src_col_1)的值格式化后写入cdc_partition_key中。 自定义分区不支持timestamp类型的字段,使用timestamp类型的字段会导致作业失败。 表自定义属性:支持通过参数配置单表的部分高级功能,参数详情可参考Hudi高级配置一览表。 附加字段编辑:单击操作列“附加字段编辑”可为目的端的Hudi表中增加自定义字段,同时附加字段也会额外加入到Hudi表的建表中。用户可以在已有的源表字段基础上添加多个附加字段,并自定义字段名、选择字段类型、填写字段值。 字段名称:目的端Hudi表新增字段的名称。 字段类型:目的端Hudi表新增字段的类型。 字段值:目的端Hudi表新增字段的取值来源。 表9 附加字段取值方式 类型 示例 常量 支持数字、字母、中文、特殊字符。彩色表情字符可能导致作业提交失败,需谨慎使用。 内置变量 源端host ip地址:source.host。 源端schema名称:source.schema。 源端table名称:source.table。 目的端schema名称:target.schema。 目的端table名称:target.table。 源表字段 源表中的任一字段。 配置附加字段的取值来源于源表字段时,请注意任务运行过程中不能修改对应源表字段的名称,否则可能导致作业异常。 udf方法 substring(#col, pos[, len]): 截取源端col列的子串, 范围在[pos, pos+len)。 date_format(#col, time_format[, src_tz, dst_tz]): 将源端col列按time_format格式化, 可选转换时区。 now([tz]): 获取指定时区的当前时间。 if(cond_exp, str1, str2): 满足条件表达式cond_exp时返回str1, 否则返回str2。 concat(#col[, #str, ...]): 拼接多个参数, 可为源端列或字符串。 from_unixtime(#col[, time_format]): 将unix时间戳按time_format格式化。 unix_timestamp(#col[, precision, time_format]): 将时间转成unix时间戳,可显式定义时间格式及转换后精度,time_format时间格式要与源端保持一致。 自动建表:单击“自动建表”可按照已配置映射规则在目的端数据库自动建表,成功后表建立方式会显示为使用已有表。 图9 自动建表 Migration仅支持自动建表,不支持自动建库和模式,需用户自行在目的端手动建出库和模式后再使用本功能建表。 自动建表时对应的字段类型映射关系请参见字段映射关系章节。 自动建出的Hudi表会带有3个审计字段,分别是cdc_last_update_date、logical_is_deleted、_hoodie_event_time,并会以_hoodie_event_time作为Hudi表的预聚合键。 配置任务属性。 表10 任务配置参数说明 参数 说明 默认值 执行内存 作业执行分配内存,跟随处理器核数变化而自动变化。 8GB 处理器核数 范围:2-32。 每增加1处理核数,则自动增加4G执行内存和1并发数。 2 并发数 作业执行支持并发数。该参数无需配置,跟随处理器核数变化而自动变化。 1 自动重试 作业失败时是否开启自动重试。 否 最大重试次数 “自动重试”为是时显示该参数。 1 重试间隔时间 “自动重试”为是时显示该参数。 120秒 是否写入脏数据 选择是否记录脏数据,默认不记录脏数据,当脏数据过多时,会影响同步任务的整体同步速度。 否:默认为否,不记录脏数据。 表示不允许脏数据存在。如果同步过程中产生脏数据,任务将失败退出。 是:允许脏数据,即任务产生脏数据时不影响任务执行。 允许脏数据并设置其阈值时: 若产生的脏数据在阈值范围内,同步任务将忽略脏数据(即不会写入目标端),并正常执行。 若产生的脏数据超出阈值范围,同步任务将失败退出。 说明: 脏数据认定标准:脏数据是对业务没有意义,格式非法或者同步过程中出现问题的数据;单条数据写入目标数据源过程中发生了异常,则此条数据为脏数据。 因此只要是写入失败的数据均被归类于脏数据。 例如,源端是VARCHAR类型的数据写到INT类型的目标列中,则会因为转换不合理导致脏数据不会成功写入目的端。用户可以在同步任务配置时,配置同步过程中是否写入脏数据,配置脏数据条数(单个分片的最大错误记录数)保证任务运行,即当脏数据超过指定条数时,任务失败退出。 否 脏数据策略 “是否写入脏数据”为是时显示该参数,当前支持以下策略: 不归档:不对脏数据进行存储,仅记录到任务日志中。 归档到OBS:将脏数据存储到OBS中,并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。 - 脏数据目录 脏数据写入的OBS目录。 - 脏数据阈值 是否写入脏数据为是时显示该参数。 用户根据实际设置脏数据阈值。 说明: 脏数据阈值仅针对每个并发生效。比如阈值为100,并发为3,则该作业可容忍的脏数据条数最多为300。 输入-1表示不限制脏数据条数。 100 添加自定义属性 支持通过自定义属性修改部分作业参数及开启部分高级功能,详情可参见任务性能调优章节。 - 提交并运行任务。 作业配置完毕后,单击作业开发页面左上角“提交”,完成作业提交。 图10 提交作业 提交成功后,单击作业开发页面“启动”按钮,在弹出的启动配置对话框按照实际情况配置同步位点参数,单击“确定”启动作业。 图11 启动配置 表11 启动配置参数 参数 说明 同步模式 增量同步:从指定时间位点开始同步增量数据。 全量+增量:先同步全量数据,随后实时同步增量数据。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮,可前往作业监控页面查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图12 前往监控
  • 资源监控 表1 资源监控基本概念 术语 说明 指标 指标是对资源性能的数据描述或状态描述,指标由命名空间、维度、指标名称和单位组成。 其中,命名空间特指指标的命名空间,可将其理解为存放指标的容器,不同命名空间中的指标彼此独立,因此来自不同应用程序的指标不会被错误地聚合到相同的统计信息中。维度是指标的分类,每个指标都包含用于描述该指标的特定特征,可以将维度理解为这些特征的类别。 主机 AOM 的每一台主机对应一台虚拟机或物理机。主机可以是您自己的虚拟机或物理机,也可以是您通过华为云购买的虚拟机(例如:弹性云服务器,简称E CS )或物理机(例如:裸金属服务器,简称BMS)。只要主机的操作系统满足AOM支持的操作系统,且主机已安装ICAgent,即可将主机接入到AOM中进行监控。 日志 AOM提供了海量运行日志的检索和分析功能,支持日志采集、下载、转储、搜索,并提供报表分析、SQL查询、实时监控、关键词告警等能力。 日志流量 日志流量指的是每秒上报的日志大小。每个租户在每个Region的日志流量不能超过10MB/s。如果超过10MB/s,则可能导致日志丢失。 告警 告警是指AOM、ServiceStage、CCE、 APM 等服务在异常情况或在可能导致异常情况下上报的信息,告警会引起业务异常,您需要对告警进行处理。 事件 事件是指AOM、ServiceStage、CCE、APM等服务发生了某种变化,但不一定会引起业务异常,事件一般用来表达一些重要信息。您不用对事件进行处理。 告警清除 告警清除方式包括自动清除和手动清除两种。 自动清除:产生告警的故障消除后,AOM会自动清除告警,您不需要做任何操作。 手动清除:产生告警的故障消除后,AOM不会自动清除告警,您需要手动清除告警。 告警规则 告警规则分为指标告警规则和事件告警规则两种。 通过指标告警规则,实时监控环境中主机、组件等资源使用情况。 当资源使用告警过多,告警通知过于频繁时,通过事件告警规则,简化告警通知,快速识别服务的某一类资源使用问题并及时解决。 告警通知 告警通知有2种方式: 直接告警:在配置告警规则的时候,可以配置告警通知规则,将告警信息通知相关人,以便提醒相关人员及时采取措施清除故障。告警方式包括邮件、短信、钉钉、企业微信、语音等方式。 告警降噪:选择告警降噪的分组规则进行告警降噪。 告警通知规则 告警通知规则定义产生告警之后,按照规则做何种动作。包括消息发送到哪里和以什么形式发送。消息发送到哪里通过华为云服务 SMN 主题设置。 Prometheus实例 Prometheus监控功能提供的管理Prometheus数据采集和数据存储分析的逻辑单元。 Prometheus探针 部署在用户侧或者云产品侧Kubernetes集群。负责自动发现采集目标、采集指标和远程写到其他库。 Exporter 一个采集监控数据并通过Prometheus监控功能规范对外提供数据的组件。目前有上百个官方或者第三方 Exporter可供使用,具体请参见Exporter详情。 Job 一组Target的配置集合。定义了抓取间隔,访问限制等作用于一组Target的抓取行为。 父主题: 基本概念
  • 完成灰度发布 分流阶段执行完成后,版本即将全网发布,全网发布意味着所有机器都已升级,分流规则在SLB将不生效,消息会在正常机器+灰度机器的整个群组中负载均衡分发。 在灰度服务管理页面,单击灰度服务列表当前状态列的“灰度管理”。 在灰度管理页面,单击“完成灰度发布”。 在“分流配置”页签,单击“编辑分流规则”,可以编辑分流规则。 在“主机群组”页签,单击“编辑”,可以编辑主机群组。 注意:请确认主机集群配置无误并已升级到最新版本。 在弹出框中单击“确定”。 灰度列表当前状态列显示为“灰度完成”。
  • 恢复灰度发布 恢复灰度发布,用于将暂停状态的服务恢复到正常进行状态,版本将依据当前的分流规则和主机集群设置发布。 在灰度服务管理页面,单击待恢复灰度服务当前状态列的“灰度管理”。 在灰度管理页面,单击“恢复灰度发布”。 在“分流配置”页签,单击“编辑分流规则”,可以编辑分流规则。 在“主机群组”页签,单击“编辑”,可以编辑主机群组。 注意:请确认分流配置和主机集群配置无误,否则可能发生负载不均衡等状况。 在弹出框中单击“确定”。 灰度列表当前状态列显示灰度执行的阶段。
  • 执行下一阶段 对于N阶段发布的灰度服务,将灰度阶段切换到下一阶段,按照下一阶段的分流规则进行流量分发。 在灰度服务管理页面,单击灰度服务列表当前状态列的“灰度管理”。 在灰度管理页面,单击“进入下一阶段”。 您也可以单击“查看所有灰度阶段”,单击其他阶段分流配置项右上角的“设为当前阶段”,直接切换到相应阶段,按照该阶段的分流规则进行流量分发。 在“分流配置”页签,单击“编辑分流规则”,可以编辑分流规则。 在“主机群组”页签,单击“编辑”,可以编辑主机群组。 在弹出框中单击“确定”。 灰度列表当前状态列显示灰度执行阶段。
  • 重启灰度 请在确认服务有新版本的情况下重启灰度。 完成灰度发布后,当前处于全网发布阶段,如果想要进行新的一轮灰度,可以重启灰度。重启灰度后分流规则将在SLB生效,满足分流规则条件的消息分发到灰度机器群组,不满足分流规则条件的消息分发到正常机器群组。 在灰度服务管理页面,单击灰度服务列表当前状态列的“重启灰度”。 在重启灰度页面,单击“重启灰度”。 在“分流配置”页签,单击“编辑分流规则”,可以编辑分流规则。 在“主机群组”页签,单击“编辑”,可以编辑主机群组。 在弹出框中单击“确定”。 灰度列表当前状态列显示灰度执行的阶段。
  • 告警类型说明 告警在列表中总共有五种状态,实际上告警本身只有告警中和已解决两种状态,根据这两种状态在系统中不同的标记又细分为五种状态,具体告警类型如表1所示。 表1 告警类型说明 告警类型 告警说明 当前告警 告警进入系统后如果没有被屏蔽规则屏蔽就会进入该页签,表示当前仍然是告警中状态且未被清除和屏蔽的告警。 屏蔽告警 告警进入系统后被设置的屏蔽规则自动屏蔽或者人为在界面上手动单击屏蔽的告警。屏蔽的告警分为两种,一种是有具体屏蔽时间的,到了屏蔽时间结束后会作为一条新的告警再次出现在当前告警的列表中,一种是没有屏蔽时间的,将会被永久屏蔽。 历史告警 历史告警都是已解决的告警,让告警进入已解决的状态的方式有两种,一种是上报的告警已解决,这条告警就会被清除进入历史告警,或者是在界面上直接清除告警也会进入历史告警。 未确认已恢复告警 系统接收到已解决或自动清除的告警,非界面操作影响的告警。 归档告警 历史告警中,告警级别在严重和紧急的告警且是已解决状态的,每个小时会被定时任务扫描到转移至归档告警。
  • 查询告警参数说明 可以用不同参数对告警进行查询,参数说明如表2所示。 表2 查询告警参数说明 告警参数 参数说明 应用/服务 告警所属的服务,不选则默认展示用户拥有权限下的所有告警。 告警级别 告警上报时所带的level字段。 显示模式 显示模式分为三种,告警收敛、原始告警和仅收敛告警。默认显示告警收敛。 告警收敛:展示已收敛的告警和未收敛的告警。当告警被收敛后,可以单击收敛告警“操作”列的“详情”,查看并处理收敛的子告警。 原始告警:原始告警展示除了收敛告警外的所有告警,包括已经被收敛了的原始告警也会展示。 仅收敛告警:仅展示已经被收敛了的告警。 处理状态 支持对未确认、已确认、已通知、处理中和处理完成的告警进行查询。 语音呼叫状态 告警当前的语音呼叫的状态。 告警类型 上报的告警会显示类型信息,可根据类型筛选查看告警。 入库时间 告警进入系统的时间。 告警单发 选择是否查看属于告警单发的告警。 无处理人 选择无处理人的告警。
  • 新增流控规则 流控规则支持针对微服务/接口的资源流控、不区分微服务接口的全局参数流控和节点级动态流控规则。 在流控服务详情页面,选择“流控规则”页签,单击“新增流控规则”。 配置流控规则相关参数,配置完成后单击“保存”。 资源流控 表3 资源流控参数说明 参数 说明 限流控制类型 选择资源流控,针对微服务/接口资源进行流控。 资源名称 选择新增资源中创建的资源名称,与微服务/接口绑定,每个资源最多创建4条规则,规则的限流控制类型和是否集群流控不能重复。 流控类别 QPS:每秒速率流控。 配额:特定时间的请求阈值。 限流阈值 流控阈值,整个微服务/接口调用总量的阈值,如果请求总量超过该阈值,后续请求会被流控;0表示不流控。 禁用时间 当流控类别为QPS时,显示该参数。 流控后禁用时间内的所有请求不再判断请求量,直接全部流控。 允许的突增量 当流控类别为QPS时,显示该参数。 流控突发量,该参数可以调整令牌桶的大小,令牌桶大小为(阈值+突增量)/时间窗口,时间窗口单位为s。 是否集群限流 选择是否开启开关,开启后对集群内此资源的调用总量进行限制。 集群限流阈值模式 当流控类别为QPS,开启集群限流时,显示该参数。 单机均摊 总体阈值 本地配额缓存数 当流控类别为配额,开启集群限流时,显示该参数。 本地配额缓存数是指本地(通常是部署OLC服务的服务器或节点上)缓存的配额数量,通过在本地缓存一定数量的配额信息,减少对DCS的直接访问,从而降低热点key对DCS的影响。默认值为5。 该参数需要合理配置,配置过小容易造成热点key问题,配置过大可能导致部分节点放通部分节点流控的问题。 时间窗口 填写时间,单位为秒,表示间隔多少秒允许一个请求通过。默认为1秒,取值范围为1~86400。 是否开启流控规则 选择是否开启流控规则。 新增参数 单击“新增参数”,可以根据需要新增多条流控规则。 单击新增参数列表前的,单击“新增参数值”,可以为参数配置多条参数值。 全局参数流控 全局参数流控规则与资源流控的参数级规则含义类似,仅不对微服务/接口做限制。 表4 全局参数流控参数说明 参数 说明 限流控制类型 选择全局参数 参数名称 填写参数名称。 流控类别 QPS:每秒速率流控。 配额:特定时间的请求阈值。 限流阈值 流控阈值,默认的参数阈值,如果没有指定参数值,都按该阈值进行流控。 禁用时间 当流控类别为QPS时,显示该参数。 流控后禁用时间内的所有请求不再判断请求量,直接全部流控。 允许的突增量 当流控类别为QPS时,显示该参数。 流控突发量,该参数可以调整令牌桶的大小,令牌桶大小为(阈值+突增量)/时间窗口,时间窗口单位为s。 是否集群限流 选择是否开启开关,开启后对集群内此资源的调用总量进行限制。 集群限流阈值模式 当流控类别为QPS,开启集群限流时,显示该参数。 单机均摊 总体阈值 本地配额缓存数 当流控类别为配额,开启集群限流时,显示该参数。 本地配额缓存数是指本地(通常是部署OLC服务的服务器或节点上)缓存的配额数量,通过在本地缓存一定数量的配额信息,减少对DCS的直接访问,从而降低热点key对DCS的影响。默认值为5。 该参数需要合理配置,配置过小容易造成热点key问题,配置过大可能导致部分节点放通部分节点流控的问题。 时间窗口 填写时间,单位为秒,表示间隔多少秒允许一个请求通过。默认为1秒,取值范围为1~86400。 是否开启流控规则 选择是否开启流控规则。 新增参数值 单击“新增参数值”,配置多条参数值。 节点级动态流控 表5 节点级动态流控参数说明 参数 说明 限流控制类型 选择节点级动态流控。 是否开启流控规则 选择是否开启流控规则。 CPU过载阈值 CPU利用率超过该值时,接口的放通比例开始降低,直到降低至最低放通比例;CPU利用率越高,接口放通比例下降越快。该阈值要求为小数,范围为0~1,支持精度为小数点后四位。 CPU恢复阈值 CPU利用率小于该值时,接口的放通比例开始恢复,直到恢复至100%;CPU利用率越低,接口放通比例恢复越快。该阈值要求为小数,范围为0~1,支持精度为小数点后四位,并且小于CPU过载阈值。 最低放通比例 配置各个接口等级对应的最低放通比例,在CPU始终处于过载状态时,仍然能放通该比例的请求。 范围为0~1,支持精度为小数点后四位。 在弹出框中单击“确认”。
  • 新增黑白名单 黑名单规则会直接流控满足规则的请求,白名单规则会放通满足规则的请求。 在流控服务详情页面,选择“黑白名单”页签,单击“新增黑白名单”。 配置黑白名单相关参数,参数说明如表6所示。配置完成后单击“保存”。 表6 新增黑白名单参数说明 参数 说明 资源名称 选择全局黑白名单或具体资源,全局黑白名单不限制微服务/接口,资源黑白名单则限制特定的微服务/接口。 参数名称 接口的参数名称。 字符长度0~50,可以由字母、数字、下划线、短横线、点组成,不能包含特殊字符,例:black_rule-001。 名单类型 白名单 黑名单 每个资源或全局黑白名单下,同一参数名称只支持添加黑白名单各一条。 开启黑白名单 选择是否开启黑白名单。 名单列表 黑白名单列表。如果存在多个,使用英文逗号分隔,不允许存在空格。 在弹出框中单击“确认”。
  • 新增熔断策略 在配置服务治理项页面,选择“熔断”页签,单击“新增”。 在新增熔断页面,配置相关参数,参数说明如表7所示。 表7 新增熔断参数说明 参数 说明 微服务(服务端) 选择需要治理的微服务。 是否使用别名 选择是否使用别名。 Schema(服务端) - 微服务方法(服务端) - 触发条件 取消熔断 手动熔断 自动熔断 熔断时间窗 触发条件为自动熔断时,配置此参数。 熔断的持续时间,该时间窗内不再响应请求。 失败率 触发条件为自动熔断时,配置此参数。 触发条件,窗口请求的失败率。 窗口请求数 触发条件为自动熔断时,配置此参数。 触发条件,窗口收到的请求数。“失败率”和“窗口请求数”的条件需同时满足才会触发熔断。 单击“确定”保存配置。
  • 新增限流策略 在配置服务治理项页面,选择“限流”页签,单击“新增”。 在新增限流页面,配置相关参数,参数说明如表3所示。 表3 新增限流参数说明 参数 说明 流控类型 服务端 客户端 微服务(客户端) 选择ALL。 是否使用别名 选择是否使用别名。 Schema(服务端) - 微服务方法(服务端) - QPS 每秒的请求数。当限流对象对当前服务实例的每秒请求数量超过设定的值,当前服务实例不再接受该对象的请求。取值范围为1-99999的整数。 单击“确定”保存配置。
  • 新增容错策略 在配置服务治理项页面,选择“容错”页签,单击“新增”。 在新增容错页面,配置相关参数,参数说明如表6所示。 表6 新增容错参数说明 参数 说明 微服务(服务端) 选择需要治理的微服务。 是否使用别名 选择是否使用别名。 是否开启容错 选择开启或关闭。 容错策略 Failover:尝试新的服务器次数:1,尝试同一个服务器次数:0。 Failfast:尝试新的服务器次数:0,尝试同一个服务器次数:0。 Failback:尝试新的服务器次数:0,尝试同一个服务器次数:1。 Custom:尝试新的服务器次数:0~9,尝试同一个服务器次数:0~9。 尝试同一个服务器次数 服务调用尝试同一个服务器的次数。 尝试新的服务器次数 服务调用尝试新的服务器次数。 单击“确定”保存配置。
  • 新增OLC流控 在配置服务治理项页面,选择“OLC流控”页签,单击“新增”。 在新增OLC流控页面,选择配置不区分微服务接口的全局参数流控、针对微服务/接口的资源流控和节点级动态流控规则。 表10 新增全局资源 参数 说明 资源类型 选择全局资源。 参数名 填写参数名称。 字符长度0~50,可以由字母、数字、下划线、短横线、点组成,不能包含特殊字符。例:Limit_rule-001。 限制流控类型 QPS:每秒速率流控。 配额:特定时间的请求阈值。 阈值 流控阈值,正整数类型或0。 允许的突增量 当限流控制类型为QPS时,显示该参数。 允许的QPS突增值,作为突增增量累加到阈值上。 禁用时间 当限流控制类型为QPS时,显示该参数。 被流控后禁用时间。 时间窗口 填写时间,单位为秒,表示间隔多少秒允许一个请求通过。默认为1秒,取值范围为1~86400。 是否集群限流 选择是否开启开关,开启后对集群内此资源的调用总量进行限制。 集群限流阈值模式 当流控类别为QPS,开启集群限流时,显示该参数。 单机均摊 总体阈值 本地配额缓存数 当流控类别为“配额”,开启集群限流时,显示该参数。 本地配额缓存数是指本地(通常是部署OLC服务的服务器或节点上)缓存的配额数量,通过在本地缓存一定数量的配额信息,减少对DCS的直接访问,从而降低热点key对DCS的影响。默认值为5。 该参数需要合理配置,配置过小容易造成热点key问题,配置过大可能导致部分节点放通部分节点流控的问题。 开启流控规则 选择是否开启流控规则。 表11 新增接口资源 参数 说明 资源类型 选择接口资源。 是否使用别名 选择是否使用别名。 原始服务名 使用别名时,需要填写原始服务名。 Schema All * 微服务方法 - 限流控制类型 QPS:每秒速率流控。 配额:特定时间的请求阈值。 阈值 流控阈值,正整数类型或0。 允许的突增量 当限流控制类型为QPS时,显示该参数。 允许的QPS突增值,作为突增增量累加到阈值上。 禁用时间 当限流控制类型为QPS时,显示该参数。 被流控后禁用时间。 时间窗口 填写时间,单位为秒,表示间隔多少秒允许一个请求通过。默认为1秒,取值范围为1~86400。 是否集群限流 选择是否开启开关,开启后对集群内此资源的调用总量进行限制。 集群限流阈值模式 当流控类别为QPS,开启集群限流时,显示该参数。 单机均摊 总体阈值 本地配额缓存数 当限流控制类型为配额,开启集群限流时,显示该参数。 本地配额缓存数是指本地(通常是部署OLC服务的服务器或节点上)缓存的配额数量,通过在本地缓存一定数量的配额信息,减少对DCS的直接访问,从而降低热点key对DCS的影响。默认值为5。 该参数需要合理配置,配置过小容易造成热点key问题,配置过大可能导致部分节点放通部分节点流控的问题。 开启流控规则 选择是否开启流控规则。 新增参数 单击“新增参数”,可以根据需要新增流控规则。 表12 新增节点级动态流控 参数 说明 资源类型 选择节点级动态流控。 开启流控规则 选择是否开启流控规则。 CPU过载阈值 CPU利用率超过该值时,接口的放通比例开始降低,直到降低至最低放通比例;CPU利用率越高,接口放通比例下降越快。该阈值要求为小数,范围为0~1,支持精度为小数点后四位。 CPU恢复阈值 CPU利用率小于该值时,接口的放通比例开始恢复,直到恢复至100%;CPU利用率越低,接口放通比例恢复越快。该阈值要求为小数,范围为0~1,支持精度为小数点后四位,并且小于CPU过载阈值。 最低放通比例 配置各个接口等级对应的最低放通比例,在CPU始终处于过载状态时,仍然能放通该比例的请求。 范围为0~1,支持精度为小数点后四位。 单击“确定”保存配置。
  • 新增错误注入 在配置服务治理项页面,选择“错误注入”页签,单击“新增”。 在新增错误注入页面,配置相关参数,参数说明如表8所示。 表8 新增错误注入参数说明 参数 说明 微服务(服务端) 需要测试容错能力的微服务,可以具体到微服务的方法。 是否使用别名 选择是否使用别名。 Schema(服务端) - 微服务方法(服务端) - 类型 测试微服务的容错能力类型: 延时 错误 协议 访问微服务出现延时或错误的协议: Rest Highway 触发概率 访问微服务出现延时或错误的概率。 延迟时间 访问微服务出现延时的时长,“类型”选择为“延迟”时才需要配置。 http错误码 访问微服务出现错误的HTTP错误码,“类型”选择为“错误”时才需要配置。该错误码为HTTP标准的错误码。 单击“确定”保存配置。
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全