华为云用户手册

  • 查看环境 创建环境后,可以通过查看环境确认环境的状态和信息。 登录G CS 控制台,选择左侧导航栏的“环境管理”,单击“云容器实例”页签,在环境列表页可查看环境状态、命名空间名称、命名空间类型、VCP名称等。 图1 CCI环境列表页 在环境列表页您可执行查看命名空间详情、变更关联桶、更新密钥、清理环境等操作。 查看命名空间详情:单击命名空间名称,您将进入到CCI控制台,可查看命名空间的详细信息、容器所属 虚拟私有云VPC 、子网等。 变更关联桶:单击关联桶后的,在弹出的对话框中选择其他桶,然后单击“确认”。 更新密钥:单击访问密钥后的,在弹出的对话框中上传访问密钥(AK/SK)文件,然后单击“确认”。 清理环境:单击“清理环境”,可清理CCI环境,具体操作请参见清理环境。 单击环境名称,进入环境管理详情页面。在环境管理详情页面可查看虚拟私有云VPC和子网的信息,还可执行导入对象存储卷、解关联对象存储卷等操作。 图2 导入/解关联对象存储卷 导入对象存储卷:单击“导入”,在弹出的对话框中选择要导入的存储,然后单击“确认”。导入对象存储时,如果要导入的对象存储原始名称非法(例如包含小数点“.”),将不允许导入。请确保要导入的对象存储内的数据已备份或不再使用,且没有被其他服务(如 云审计 云监控 等)所使用。 解关联对象存储卷:勾选需要删除的存储,单击“解关联”,在弹出的对话框中单击“确认”。解关联操作会解除PVC与存储的绑定关系,存储不会被删除。若想再次使用该存储,请使用导入功能导入该存储。
  • 创建环境 开始基因分析前,请先创建环境。 登录GCS控制台,选择左侧导航栏的“环境管理”,在右侧页面单击“创建环境”。 设置“默认环境”:是/否。若当前没有环境,则将要创建的环境即为默认环境。默认环境有且只有一个。在有多个环境时,执行分析任务时如果不指定投递环境,则将任务投递至该默认环境。 选择“环境类型”为“云容器实例 CCI”。 选择“关联OBS存储”:OBS存储用于存储分析前后产生的数据,包括原始基因数据、流程执行中间数据及执行结果数据。 如果您已有可用桶,在创建环境中,选择对应的桶即可。关联OBS存储,对应的是并行文件系统,并行文件系统详细说明请参见并行文件系统。 如果没有可用桶或是需要新建桶,请单击“创建OBS存储”创建。此处创建的桶无法选择企业项目,默认创建default企业项目。 命名空间选择:“已有命名空间”或“新建命名空间”。 如果您在CCI中已有可用命名空间,则在创建环境时,选择对应的命名空间即可。 如果您在CCI中没有可用的命名空间,或不想使用已有命名空间,请选择“新建命名空间”,并根据需求选择参数。 命名空间名称:新建命名空间的名称。 命名空间类型:“通用计算型”和“GPU加速型”。 通用计算型:支持创建含CPU资源的容器实例及工作负载,适用于通用计算场景。 GPU加速型:支持创建含GPU资源的容器实例及工作负载,适用于深度学习、科学计算、视频处理等场景。 企业项目: 该参数针对企业用户使用。如需使用该功能,请联系客服申请开通。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理,默认项目为default。 请从下拉列表中选择所在的企业项目。更多关于企业项目的信息,请参见《企业管理用户指南》。 容器所属VPC:虚拟私有云是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。此处VPC列表会根据企业项目自动过滤,若没有可选VPC,单击“创建虚拟私有云”进行创建,参数配置请参考创建虚拟私有云基本信息及默认子网。 子网选择:子网是VPC内IP地址块,提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。若没有可选子网,单击“创建子网”进行创建。 上传访问密钥:单击,在弹出的对话框中上传已下载的访问密钥(AK/SK),单击“确认”。若没有访问密钥,请前往“我的凭证” 的管理访问密钥页面新增并下载访问密钥。 单击“下一步”,确认环境信息配置后单击“提交”。单击“环境管理列表”将跳转“环境管理”页面,环境状态为“运行中”,环境已创建成功。 使用CCI环境时,请确保流程中定义的cpu(任务所需CPU核数)为0.25C的倍数,memory(任务所需内存资源大小)为1G的倍数,resources(执行任务需要的资源)中cpu与memory的配比在1:2-1:8之间。resources、memory、cpu参数的详细介绍请参见workflow。 在使用CCI创建环境时,选择新建命名空间,如果提示security-group没有找到,请用户去CCI服务创建相关命名空间
  • 安装方法 建议您在创建私有镜像前先安装Cloud-Init/Cloudbase-Init,安装方法如下: 如果是Windows操作系统,请下载并安装Cloudbase-Init。 安装Cloudbase-Init相关操作请参考:安装并配置Cloudbase-Init工具。 如果是Linux操作系统,请下载并安装Cloud-Init。 安装Cloud-Init相关操作请参考:安装Cloud-Init工具。 配置Cloud-Init相关操作请参考:配置Cloud-Init工具。
  • 执行网卡多队列的配置脚本 Windows操作系统暂未商用支持网卡多队列,如果对Windows操作系统镜像添加网卡多队列标签,开启网卡多队列功能,可能会引起操作系统启动速度变慢等问题。 针对Linux操作系统, 镜像服务 提供了自动开启网卡多队列功能的配置脚本。如果弹性云服务器有多张网卡,执行配置脚本后,所有网卡均会自动开启多队列。 登录弹性云服务器,查看网卡支持和已开启的队列数。 ethtool -l 网卡 示例: [root@localhost ~]# ethtool -l eth0 #查询网卡eth0的队列数 Channel parameters for eth0: Pre-set maximums: RX: 0 TX: 0 Other: 0 Combined: 4 #表示此网卡最多支持设置4个队列 Current hardware settings: RX: 0 TX: 0 Other: 0 Combined: 1 #表示当前已开启的是1个队列 如果返回信息中,两个“Combined”字段取值相同,则表示网卡已开启多队列,无需执行以下操作。 执行以下命令,下载配置脚本“multi-queue-hw”。 wget https://ecs-instance-driver.obs.cn-north-1.myhuaweicloud.com/multi-queue-hw 其中,下载地址为:https://ecs-instance-driver.obs.cn-north-1.myhuaweicloud.com/multi-queue-hw 执行以下命令,添加执行权限。 chmod +x multi-queue-hw 执行以下命令,将脚本“multi-queue-hw”放到目录/etc/init.d下。 mv multi-queue-hw /etc/init.d 如果出现如下提示信息,请输入“y”。 mv: overwrite '/etc/init.d/multi-queue-hw'? 执行以下命令,运行脚本“multi-queue-hw”。 /etc/init.d/multi-queue-hw start 运行脚本后,立即生效。但关机弹性云服务器后,网卡多队列功能将自动失效。 为了使网卡多队列功能开机自动生效,各个OS需要增加开机启动配置: CentOS/Red Hat/Fedora/EulerOS/Suse/openSUSE使用如下命令,增加开机启动项,使网卡多队列配置开机: chkconfig multi-queue-hw on Ubuntu使用如下命令,增加开机启动项: update-rc.d multi-queue-hw defaults 90 10 Debian使用如下命令,增加开机启动项: systemctl enable multi-queue-hw
  • 操作说明 假设以下场景所述的云服务器满足规格和虚拟化类型要求: 使用网卡多队列支持列表中的公共镜像创建的云服务器,默认已开启网卡多队列,无需执行本节操作。 对于私有镜像场景,如果您的外部镜像文件的操作系统在网卡多队列支持列表范围内,需要按照如下流程开启网卡多队列: 当前仅支持针对eth网卡开启网卡多队列。 将外部镜像文件导入镜像服务控制台。 为镜像添加网卡多队列标签。 使用私有镜像创建云服务器。 执行网卡多队列的配置脚本。
  • 背景知识 导出镜像的流程如下,适用于将云上的服务器系统及软件环境复制到线下集群或私有云环境使用。 图1 导出镜像流程 导出镜像所需时间取决于私有镜像大小和当前导出任务的并发数,需要您耐心等待。 支持导出zvhd2、qcow2、vmdk、vhd和zvhd格式的镜像。创建的私有镜像默认格式为zvhd2,导出过程中,不同的格式会导致导出的镜像大小不同。 对于大于128GB的镜像,您可以使用快速导出功能(即导出时需要勾选“使用快速导出”)将镜像导出到OBS桶中,但是无法指定导出格式,导出的镜像文件格式为zvhd2,如果需要导出其他格式,可以在镜像导出后,转换为需要的格式。 加密镜像无法使用快速导出功能。若要将此镜像导出,可以解密后再导出。
  • 其他约束限制 暂不支持创建带有数据盘的镜像,镜像文件中必须只能包含系统盘,且系统盘大小范围为:[40GB, 1024GB] 镜像文件的初始密码至少包含以下4种字符:大写字母、小写字母、数字、特殊字符(!@$%^-_=+[{}]:,./?) 镜像启动分区和系统分区必须包含在同一个磁盘中 支持的镜像引导方式: x86架构部分操作系统镜像支持UEFI启动方式(查看支持UEFI启动方式的操作系统)。 ARM架构操作系统镜像仅支持UEFI启动方式。 镜像文件必须为非加密,否则可能导致镜像注册后创建的云服务器无法正常使用。 “/etc/fstab”文件中不能包含非系统盘的自动挂载信息,否则创建的云服务器可能无法正常登录。 如果外部镜像文件的系统盘为LVM设备,通过该镜像文件注册的私有镜像用来创建云服务器时,不支持文件注入。 外部镜像文件所在虚拟机如果经历了关机过程,则必须是优雅关机,否则使用私有镜像创建的云服务器在启动时可能会出现蓝屏。 VMDK格式的镜像文件必须是从VMWare Tools中导出后的虚拟机生成的文件,否则可能会因镜像解析问题导致系统无法正常启动。
  • 外部镜像文件导出前的初始化配置 以下操作配置需要在虚拟机内部完成,强烈建议您在原平台的虚拟机实施修改后,再导出镜像文件。如果您在导出镜像文件前未完成以下配置,推荐您使用云服务器完成这些配置,具体操作请参见“Linux外部镜像文件在导出前未完成初始化配置,怎么办?”。 表1 外部镜像文件导出前的初始化配置 配置分类 配置项 网络能力 必选项,不设置会导致云服务器启动异常或网络能力异常,包括: 清理网络规则文件 设置网卡属性为DHCP 可选项,即增值能力,主要包括: 开启网卡多队列 开启网卡多队列功能可以将网卡中断分散给不同的CPU处理,实现负载均衡,从而提升网络PPS和带宽性能。操作方法请参考“如何设置镜像的网卡多队列属性”。 配置动态获取IPv6地址 IPv6的使用,可以有效弥补IPv4网络地址资源有限的问题。镜像中配置动态获取IPv6地址,发放的云服务器能够同时支持IPv4和IPv6地址。配置方法请参考“如何开启云服务器动态获取IPv6”。 工具 强烈建议安装Cloud-Init工具。 Cloud-Init是开源的云初始化工具,使用安装了Cloud-Init的镜像创建云服务器时可以通过“用户数据注入”功能,注入初始化自定义信息(例如为云服务器设置登录密码);还可以通过查询、使用元数据,对正在运行的云服务器进行配置和管理。不安装Cloud-Init工具,将无法对云服务器进行自定义配置,只能使用镜像原有密码登录云服务器。 安装方法请参考安装Cloud-Init工具。 插件 为了保证使用私有镜像创建的新云服务器可以实现一键式重置密码功能(参见“在控制台重置云服务器密码”了解更多),建议您在创建私有镜像前安装密码重置插件CloudResetPwdAgent。 详情请参见安装一键式重置密码插件(Linux)。 驱动 安装原生的KVM驱动 文件系统 修改grub文件磁盘标识方式为UUID 修改fstab文件磁盘标识方式为UUID 数据盘 如果创建私有镜像所使用的原云服务器挂载了多个数据盘,可能导致由私有镜像创建的新云服务器无法使用。因此在创建私有镜像前,需要卸载原云服务器中挂载的所有数据盘。 详情请参考卸载云服务器的数据盘。
  • 镜像文件属性限制 表2 Linux操作系统的镜像文件属性限制 镜像文件属性 条件 操作系统 SUSE、Oracle Linux、Red Hat、Ubuntu、openSUSE、CentOS、Debian、Fedora、EulerOS、中标麒麟 支持32位和64位 操作系统不能与特定的硬件绑定 操作系统必须支持全虚拟化 所支持的操作系统版本请参考“外部镜像文件支持的格式和操作系统类型”,在此范围内的操作系统支持后台自动化配置(详情请参阅“通过镜像文件注册私有镜像过程中,系统会对镜像做哪些修改?”),在此之外的操作系统请您自行排查及安装virtio驱动(详见安装原生的KVM驱动),在注册镜像页面选择Other Linux,导入后系统启动情况取决于驱动完备度。 镜像格式 VMDK、VHD、QCOW2、RAW、VHDX、QED、VDI、QCOW、ZVHD2和ZVHD 镜像大小 镜像大小不超过128GB。 如果镜像大小介于128GB和1TB之间,需要将镜像文件转换为RAW或ZVHD2格式,然后使用快速导入功能进行导入。 参考“通过qemu-img-hw工具转换镜像格式”转换镜像格式。 参考“快速导入镜像文件”了解快速导入功能。
  • 云日志 使用流程 云日志服务用于收集来自主机和云服务的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供一个实时、高效、安全的日志处理能力。 使用云日志服务的流程如下所示。 创建日志组 在使用云日志服务时,您首先需要创建一个日志组。 创建日志流 日志流是日志读写的基本单位,在日志组中创建日志流,将不同类型的日志分类存储,方便对日志进一步分类管理。 日志接入 需要将主机待采集日志的路径配置到日志流中,以日志流为单位将日志发往云日志服务。 实时查看日志 完成日志采集规则配置后,可以在云日志控制台实时查看上报的日志。
  • 修订记录 发布日期 修改说明 2024-01-23 第十八次正式发布,包含以下内容: “innodb_parallel_select_count”变更为规格参数,具体请参见购买按需计费实例、购买包年/包月实例、购买Serverless实例。 读写分离地址修改为代理地址。 2024-01-15 第十七次正式发布,包含以下内容: Serverless商用,修改计费内容,具体请参见购买Serverless实例。 2023-12-29 第十六次正式发布,包含以下内容: GaussDB (for MySQL)支持开启透明 数据加密 功能,具体请参见购买按需计费实例、购买包年/包月实例。 2023-08-30 第十五次正式发布,包含以下内容: 购买实例按照计费模式拆分。 优化连接实例。 新增通过内网连接GaussDB(for MySQL)实例(Linux方式)。 新增通过内网连接GaussDB(for MySQL)实例(Windows方式)。 新增通过公网连接GaussDB(for MySQL)实例(Linux方式)。 新增通过公网连接GaussDB(for MySQL)实例(Windows方式)。 新增通过JDBC连接GaussDB(for MySQL)实例。 2023-07-19 第十四次正式发布,包含以下内容: 购买实例支持指定内核版本,详情请参见步骤一:购买实例。 新增入门实践。 2023-06-25 第十三次正式发布,包含以下内容: 购买实例增加备份空间说明,详细内容请参考步骤一:购买实例。 2023-05-22 第十二次正式发布,包含以下内容: 购买实例的实例类型新增单机实例,详细内容请参考步骤一:购买实例。 新增Serverless模式实例,详细内容请参考步骤一:购买实例。 存储空间支持最小容量为10GB,详细内容请参考步骤一:购买实例。 2023-04-20 第十一次正式发布,包含以下内容: 购买实例新增通用版规格,详细内容请参考步骤一:购买实例。 2023-03-20 第十一次正式发布,包含以下内容: 购买实例时允许用户指定是否创建容灾实例,详细内容请参考步骤一:购买实例。 2023-02-23 第十次正式发布,包含以下内容: 优化步骤一:购买实例,允许购买 开通读写分离 代理。 2022-09-22 第九次正式发布,包含以下内容: 优化绑定弹性公网IP。 2022-06-30 第八次正式方式,包含以下内容: 优化通过公网连接GaussDB(for MySQL)实例章节,Linux操作系统提供SSL连接(推荐)和非SSL连接,Windows操作系统使用MySQL-Front客户端连接实例,增加连接实例操作说明。 2022-03-30 第七次正式方式,包含以下内容: 在购买实例进行设置内网安全组时,增加打开3306端口和icmp协议提示,并支持快速添加和配置规则。 2021-05-11 第六次正式发布,包含以下内容: GaussDB(for MySQL)新增批量创建实例功能。 2021-03-30 第五次正式发布,包含以下内容: 优化流程框架。 2020-04-24 第四次正式发布,包含以下内容: GaussDB(for MySQL)支持多可用区部署。 创建GaussDB(for MySQL)实例时支持搜索子网。 根据界面优化更新购买实例章节。 2020-02-24 第三次正式发布,包含以下内容: GaussDB(for MySQL)支持创建包周期实例。 支持通过数据管理服务DAS连接GaussDB(for MySQL)实例。 2020-01-20 第二次正式发布,包含以下内容: 根据实例连接场景调整大纲为:通过内网连接GaussDB(for MySQL)实例、通过公网连接GaussDB(for MySQL)实例。 2019-09-03 第一次正式发布。
  • 触发限流(流控)的原因和处理建议 Redis产生流控,说明redis在周期内的使用流量超过该实例规格的最大带宽。流控会导致连接被丢弃,从业务角度可能会造成业务的延迟增大,客户端连接异常等问题。 实例规格对应的最大带宽,可以查看实例规格中对应实例类型的“基准/最大带宽”。 带宽使用率不高时,也有可能有限流,因为带宽使用率是上报周期实时值,一个上报周期检查一次。而流控检查是秒级的,有可能存在上报周期间隔期间,流量有秒级冲高,然后回落,待上报带宽使用率指标时已恢复正常。 对于主备实例: 如果实例一直有流控但是带宽使用率不高,这说明可能存在业务微突发问题,或者大Key热Key问题,建议对实例进行自动诊断分析,优先排除大Key热Key问题。 如果带宽使用率居高不下,说明带宽可能存在超限风险,需要扩容处理。 对于集群实例: 仅有单个或少量几个分片出现流控,则多数为该分片存在大Key热Key问题。 所有或大多数分片同时出现流控或者带宽使用率高的问题,这说明实例的带宽达到了瓶颈,建议扩容实例。 DCS控制台提供了大Key和热Key的分析功能,请参考分析Redis实例大Key和热Key减少大key和热key。 如果用户执行了keys等消耗资源的命令,也可能会导致CPU和带宽使用率增加,从而出现流控。 通过控制台对Redis实例进行调整DCS实例带宽,可解决带宽超限的问题。 父主题: 监控告警
  • 导入测试工程 性能测试服务支持导入PerfTest类型和JMeter类型的测试工程。 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”,单击“导入”。 PerfTest工程导入。 “工程类型”选择“PerfTest工程”。 单击PerfTest文件后的“选择文件”,选中json格式的工程文件,单击“导入”。 导入的工程名称不能和性能测试服务中已存在的工程同名,否则导入会失败。 暂不支持导入含有MQTT协议的工程。 JMeter工程导入。 JMeter文件中关键信息请使用性能测试服务支持的字符,详情请参见 JMeter与PerfTest字段对应关系。 JMeter解析的内容包括: 线程组、HTTP请求、HTTP信息头管理器、正则表达式提取器、用户参数、用户定义的变量、HTTP默认请求值、固定定时器。 暂不支持随机变量。 为保证数据导入的准确性,尽量不要使用重名变量。 JMeter脚本大小不超过5MB。 “工程类型”选择“JMeter工程”。 单击JMeter文件后的“选择文件”,选中jmx格式的工程文件,单击“导入”。 工程导入成功后,单击“关闭”。您可以根据业务需要参照修改测试工程和管理事务请求信息修改测试工程。
  • 导出测试工程 为简化操作,用户不必从零开始编写测试工程,只需要找到与自己业务模型类似的工程,导出测试工程,在此基础上略作修改,再导入测试工程即可。 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在PerfTest测试工程列表中选中一个或多个待导出的工程,单击“导出”,保存测试工程文件ProjectList(序列号).json到本地。 如果测试工程中包含SLA规则,导出工程时,无法导出SLA规则的相关内容。 如果全局变量上传了文件,导出测试工程时,无法导出对应的文件。 可扩展测试工程暂不支持导出工程。 暂不支持导出含有MQTT协议的工程。 按照业务需求修改文件中相关参数、工程名称(工程名称需唯一),并保存文件。 请勿修改ProjectList(序列号).json文件的格式。
  • 使用模板创建测试工程 登录性能测试服务控制台,在左侧导航栏中选择“总览”,进入总览页。 PerfTest定义了如下模板: 选择一网通办系统场景,一网通办系统测试工程即创建成功。测试工程创建成功后,测试用例已按模板创建成功。 选择流媒体场景,流媒体测试工程即创建成功。测试工程创建成功后,测试用例已按模板创建成功。 选择秒杀场景,秒杀测试工程即创建成功。测试工程创建成功后,测试用例已按模板创建成功。 选择电商场景,电商测试工程即创建成功。测试工程创建成功后,测试用例已按模板创建成功。 选择极速创建场景,极速创建测试工程即创建成功。测试工程创建成功后,测试用例已按模板创建成功。 可根据实际业务需求修改测试用例,详细操作请参见PerfTest测试用例管理。
  • 插入变量 添加请求信息时,在输入框内输入“$”,插入变量。 “变量类型”为“自定义变量”时,需要设置如下参数: 变量范围:选择变量范围。 变量名称:自定义变量名称。自定义变量名称为添加变量时为变量取的名称。 “变量类型”为“系统变量”时,需要选择函数名称: 身份证号:随机生成一个身份证号。 手机号:随机生成一个手机号。 区间随机数:根据用户输入区间,随机生成区间内的任一整数。 随机字符串:根据用户输入的位数(1-32),随机生成小写字母和数字混合的字符串。 时间戳:根据用户选择(秒(s)/毫秒(ms)),生成执行时当前时间戳(秒(s)对应10位,毫秒(ms)对应13位)。 时间格式化:根据指定格式输出当前时间,支持时间偏移(单位为秒)。 时间格式化格式说明如下: "yyyy":表示四位数的年份,例如2024年:2024 "yy":表示两位数的年份,例如2024年:24 "MM":表示两位数的月份,例如1月:01 "M":表示前不补零的月份,例如1月:1 "dd":表示两位数的日期,例如3日:03 "d":表示前不补零的日期,例如3日:3 "HH":表示24小时制的小时数,例如下午1点:13 "H":同HH "hh":表示12小时制的小时数,例如1点:01 "h":表示前不补零的24小时制小时数,例如1点:1 "mm":表示分钟数,例如4分:04 "m":表示前不补零的分钟数,例如4分:4 "ss":表示秒数,例如5秒:05 "s":表示前不补零的秒数,例如5秒:5 "SSS":表示毫秒数,例如98毫秒:098 UUID:随机生成一个32位的字符串。 “变量类型”为“加密函数”时,需要选择加密类型和变量插入的位置,加密类型如下: MD5:对val数据进行md5加密,返回加密后的数据字符串。 MD5-BASE64:对val数据进行MD5-BASE64编码,返回编码后的数据字符串。 SHA-1:对输入的数据进行SHA-1加密,返回加密后的数据字符串。 SHA-224:对输入的数据进行SHA-224加密,返回加密后的数据字符串。 SHA-256:对输入的数据进行SHA-256加密,返回加密后的数据字符串。 SHA-384:对输入的数据进行SHA-384加密,返回加密后的数据字符串。 SHA-512:对输入的数据进行SHA-512加密,返回加密后的数据字符串。 BASE64编码:对输入的数据进行BASE64编码,返回编码后的数据字符串。 BASE64解码:对输入的数据进行BASE64解码,返回解码后的数据字符串。 父主题: 设置全局变量(高性能测试工程)
  • 报告总览 测试报告说明如表1所示。 测试报告展现了测试过程中被测系统在模拟高并发用户的响应性能,为了更好阅读测试报告,请参考以下信息: 统计维度:测试报告的RPS、响应时间、并发等统计维度均为单个用例,如用例中有请求多个报文,只有在多个请求报文均正常返回会认为成功,响应时间也是多个请求报文的求和值。 响应超时:出现该情况是在设置的响应超时时间内(默认5s),对应的TCP连接中没有响应数据返回时,会将本次用例请求统计为响应超时。出现原因一般是被测服务器繁忙、崩溃、网络带宽被占满等。 校验失败:从服务器返回的响应报文不符合预期(针对HTTP/HTTPS默认的预期响应码为200),比如服务器返回404、502等。出现原因一般为高并发情况下被测服务无法正常处理导致的,如分布式系统中数据库出现瓶颈、后端应用返回错误等。 解析失败:响应报文已全部接收完成,但是部分报文丢失导致整个用例响应不完整,这种情况一般需要考虑网络丢包。 带宽统计:本报告统计的是性能测试服务执行端的带宽,上行表示从性能测试服务发出的流量,下行表示接收到的流量。如果是外网压测场景,您需要关注执行机的EIP带宽是否可以满足上行带宽的要求。而下行带宽需要关注单台执行机是否超过1GB。 RPS:Requests Per Second,每秒请求数。平均RPS=统计周期内的请求总数/统计周期。 SLA结果: 当测试用例配置SLA规则后,您可以在SLA报告中查看SLA规则是否被触发。SLA报告中,请求名称为测试用例中请求的名称,规则为已配置的SLA规则。平均值(运行中的任务显示为当前值)代表测试用例从开始压测到目前为止,业务指标的平均值,以及触发SLA规则的总次数。触发事件显示触发SLA规则的时间、请求名称和当前的触发次数。 如何判断被测应用优劣:根据应用本身的服务质量定义,理想状态是没有任何响应失败、校验失败的情况,如果有,需要在服务质量定义范围之内,通常情况下不超过1%,同时响应时间越低越好(2s内体验较好,5s内可以接受,超过5s则需要考虑优化),TP90、TP99指标可以客观反映出90%、99%用户的体验响应时间。 表1 测试报告说明 参数 参数说明 各项指标总量 所有用例各项指标总量的汇总。 最大并发:最大并发操作的虚拟用户数。 RPS:每秒请求数。 响应时间:指从客户端发一个请求开始计时,到客户端接收到从服务器端返回的响应结果结束所经历的时间。 响应码:记录压测任务进行中响应码分布的情况。 带宽:记录压测任务运行所消耗的实时带宽变化。 SLA事件:SLA中定义的事件发生情况。 正常返回:如设置了检查点,检查点通过的用例响应数,如未设置默认为返回2XX的用例响应数。 异常返回:解析失败、校验失败、响应超时、3XX、4XX、5XX、连接被拒绝的用例响应数。 成功率:正常返回请求数/总请求数。 平均RPS 统计周期内的请求总数/统计周期。 平均RT 某一秒发出的所有请求的平均响应时间。 并发数 记录压测任务运行时,当前并发操作的虚拟用户数的变化。 带宽(KB/S) 记录压测任务运行所消耗的实时带宽变化。 上行带宽:从性能测试服务测试执行机往外发送出去数据的速度。 下行带宽:性能测试服务测试执行机接收到数据的速度。 响应状态分布 正常返回、解析失败、校验失败、响应超时、连接被拒绝和其他错误的每秒处理用例数,该项指标与思考时间、并发用户、服务器响应能力均有关,比如思考时间为500ms,如果服务器对于当前用户的上个请求响应时间小于500ms,则该用户每秒请求2次。 正常返回:如设置了检查点,检查点通过的用例响应数,如未设置默认为返回2XX的用例响应数。 异常返回:解析失败、校验失败、响应超时、3XX、4XX、5XX、连接被拒绝的用例响应数。 解析失败:HTTP响应无法被正常解析的数量。 校验失败:如设置了检查点,检查点未通过的用例响应数,如未设置,返回不是2XX的用例响应数。 响应超时:在请求报文发送5S内未收到服务器响应的用例请求数量。 连接被拒绝:发送报文建立连接时,服务器拒绝连接数。 其他错误:不属于以上几种错误的数量。 响应码分布 1XX/2XX/3XX/4XX/5XX。 响应时间区间比例 用例的响应时间区间比例。 TP最大响应时间 指在一个时间段内(如10s),统计该请求每次响应所消耗的时间,并将这些时间按从小到大的顺序进行排序,取对应的百分比的那个值作为TPXX的最大响应时间。 TP50:指在一个时间段内(如10s),统计该请求每次响应所消耗的时间,并将这些时间按从小到大的顺序进行排序,取第50%的那个值作为TP50的值。 TP75:指在一个时间段内(如10s),统计该请求每次响应所消耗的时间,并将这些时间按从小到大的顺序进行排序,取第75%的那个值作为TP75的值。 TP90:指在一个时间段内(如10s),统计该请求每次响应所消耗的时间,并将这些时间按从小到大的顺序进行排序,取第90%的那个值作为TP90的值。 TP95:指在一个时间段内(如10s),统计该请求每次响应所消耗的时间,并将这些时间按从小到大的顺序进行排序,取第95%的那个值作为TP95的值。 TP99:指在一个时间段内(如10s),统计该请求每次响应所消耗的时间,并将这些时间按从小到大的顺序进行排序,取第99%的那个值作为TP99的值。 TP99.9:指在一个时间段内(如10s),统计该请求每次响应所消耗的时间,并将这些时间按从小到大的顺序进行排序,取第99.9%的那个值作为TP99.9的值。 TP99.99:指在一个时间段内(如10s),统计该请求每次响应所消耗的时间,并将这些时间按从小到大的顺序进行排序,取第99.99%的那个值作为TP99.99的值。
  • 修订记录 发布日期 修订记录 2024-01-03 新增APP认证管理的接口:APP认证管理 2023-12-14 新增APP认证管理:APP认证管理 新增DevServer管理接口:DevServer 管理 2023-09-19 新增历史API,将数据管理(旧版)、开发环境(旧版)、训练管理(旧版)资料放到历史API中。 2023-03-09 新增资源管理的接口:资源管理 2023-02-23 新增开发环境的接口: 添加资源标签 删除资源标签 新增新版训练的接口: 创建训练作业标签 删除训练作业标签 查看训练作业标签 2023-02-02 新增开发环境接口: 通过运行的实例保存成容器镜像 查询支持的有效规格列表 查询支持的镜像列表 注册 自定义镜像 查询用户镜像组列表 查询镜像详情 删除镜像 2022-11-24 新增Workflow接口:工作流管理 更新错误码:错误码 2022-8-3 优化API调用的描述信息:认证鉴权 2022-1-10 新增新版开发环境的接口:开发环境管理(新版) 新增新版训练的接口:训练管理(新版) 2021-8-30 新增API应用示例: 创建和修改工作空间 管理ModelArts服务的委托授权 2021-7-9 新增数据管理的API应用示例: 创建图像分类数据集并进行标注任务 创建并完成图像分类的智能标注任务 新增用户名和用户ID的获取步骤: 获取用户名和用户ID 2021-5-31 更新错误码: 错误码 2021-2-25 新增授权管理接口: 授权管理 2020-1-7 新增数据管理接口: 数据管理 根据软件修改开发环境接口: 创建开发环境实例 查询开发环境实例列表 查询开发环境实例详情 2020-11-17 根据软件修改如下接口参数描述: 创建开发环境实例 查询开发环境实例列表 查询开发环境实例详情 2020-09-11 根据软件修改如下接口参数描述: 创建训练作业 查询训练作业列表 导入模型 查询模型列表 2019-11-14 由于旧版本的数据管理功能有限,且console的内容即将下线。本次下线数据管理的API。 更新细粒度授权项的描述,同时增加了依赖服务的最小化授权项描述。 策略及授权项说明 根据软件修改如下接口: 导入模型 查询模型列表 查询模型详情 删除模型 2019-10-16 新增: 查询训练作业日志 查询服务事件日志 修改API参数描述,包括如下接口: 导入模型 查询模型列表 查询模型详情 2019-09-10 优化API调用的描述信息。 构造请求 认证鉴权 2019-08-13 模型管理的dependency结构中不再支持conda安装器。更新如下接口: 导入模型 查询模型详情 2019-06-27 修改: 删除模型 2019-05-31 第八次正式发布。 新增: 使用前必读 如何调用API 获取账号名和账号ID 2019-04-29 第七次正式发布。 2019-04-16 第六次正式发布。 修改: 错误码章节。 2019-04-03 第五次正式发布。 新增工作空间管理章节。 2019-01-28 第四次正式发布。 2019-01-18 第三次正式发布。 修改: API概览章节。 2018-11-28 第二次正式发布。 在开发环境中增加PyCharm接口参数描述。 2018-11-07 第一次正式发布。
  • 响应示例 状态码: 200 OK { "charging_mode" : "POST_PAID", "cloud_server" : { "type" : "ECS" }, "create_at" : 1699348284990, "flavor" : "Si2.large.4", "id" : "62383738-e52a-450a-9f84-f9e705402be8", "image" : { "arch" : "X86", "image_id" : "c90fb553-2cdb-4b81-b56a-ef68812c6cf7", "name" : "Ubuntu18.04_x86_64_CPU", "server_type" : "ECS" }, "name" : "EI-evs-1107", "status" : "STARTING", "update_at" : 1699348285077 }
  • JupyterLab操作流程 ModelArts支持通过JupyterLab工具在线打开Notebook,开发基于PyTorch、TensorFlow和MindSpore引擎的AI模型。具体操作流程如下图所示。 图1 使用JupyterLab在线开发调试代码 创建Notebook实例。 在ModelArts控制台创建一个Notebook开发环境实例,选择要使用的AI框架。具体参见创建Notebook实例。 使用JupyterLab打开Notebook实例。具体参见打开JupyterLab。 准备训练数据和代码文件,上传到JupyterLab中。具体参见上传本地文件至JupyterLab。 在JupyterLab中编写代码文件,并运行调试。具体参见JupyterLab简介及常用操作。 在JupyterLab中直接调用ModelArts提供的SDK,创建训练作业,上云训练。 调用SDK创建训练作业的操作请参见调用SDK创建训练作业。 父主题: JupyterLab
  • ma-cli ma-job训练作业支持的命令 使用ma-cli ma-job命令可以提交训练作业,查询训练作业日志、事件、使用的AI引擎、资源规格及停止训练作业等。 $ ma-cli ma-job -h Usage: ma-cli ma-job [OPTIONS] COMMAND [ARGS]... ModelArts job submission and query jod details. Options: -h, -H, --help Show this message and exit. Commands: delete Delete training job by job id. get-engine Get job engines. get-event Get job running event. get-flavor Get job flavors. get-job Get job details. get-log Get job log details. get-pool Get job engines. stop Stop training job by job id. submit Submit training job. 表1 训练作业支持的命令 命令 命令详情 get-job 查询ModelArts训练作业列表及详情。 get-log 查询ModelArts训练作业运行日志。 get-engine 查询ModelArts训练AI引擎。 get-event 查询ModelArts训练作业事件。 get-flavor 查询ModelArts训练资源规格。 get-pool 查询ModelArts训练专属池。 stop 停止ModelArts训练作业。 submit 提交ModelArts训练作业。 delete 删除指定作业id的训练作业。 父主题: 使用ma-cli ma-job命令提交ModelArts训练作业
  • 优势 可视化管理 以模型(元数据)为基础,用户可以通过界面创建自己的业务模型实例或按模板批量导入实例,并在界面上对模型实例统一维护与管理,实现抽象业务具体化、规范化,做到所见即所得。 多样化采集 系统预置了多种常用数据源适配器,包括MySQL、Oracle、PostgreSQL、SQLServer、GaussDB、文件适配器等,针对不同系统采集需求,只需更改采集任务配置,即可适配,隔离底层系统差异,适配多样化采集。 高效模型搜索 提供搜索引擎界面,用户可对模型数据进行关键词搜索。支持索引类管理,可根据索引类进行搜索结果二次过滤。同时根据用户搜索行为生成搜索热词,也可以自定义推荐词搜索,从多个维度提高搜索效率和搜索准确性,解决模型数据搜索难的问题。 共享行业模板 行业发展至今,有很多成熟的业务模型,可以作为具有通用意义的行业模板。系统会不定期发布典型的行业模板,管理员用户也可以自定义一个行业模板添加到行业模板市场中,其他用户通过平台提供的行业模板管理入口完成加载,加载成功后模型目录中可查看该业务模型。
  • 什么是应用模型 在数字经济时代,数据正在成为企业极其重要的战略性资产。随着数据越来越多,数据的统一管理越来越困难,普遍存在数据查找难,业务学习成本高等问题。因此,构建一个以业务模型为驱动,突破语义屏障,搭建业务与技术桥梁的 数据治理 平台尤为重要。应用模型服务正是基于这一理念而产生的。 应用模型(Application Business Model,ABM)是为客户提供的统一模型管理服务。用户可以通过预置的业务架构/技术架构定义或管理对应资产,支持业务架构/技术架构对应资产数据的自动或手动采集,提供模型查询、维护、业务与技术模型关联、数据关联分析等功能,同时提供数据访问管控、开放共享等能力。
  • 产品功能 概览 应用模型总览,包括快速入门、模型总览,模型数量统计,数据源分布,任务执行情况统计和调度任务时间分布统计。 模型地图(旧版) 针对已采集模型资产,提供模型查询搜索功能,便于用于快速浏览模型数据。支持推荐词配置,搜索结果收藏,添加标注,添加业务字典,申请权限等功能,方便快速检索。新版模型地图基于轻治理思路,同时也支持模型管理等功能。 模型地图(新版) 通过新版模型地图,用户可以快速检索包括卡片资产在内的新版模型数据。同时,支持用户根据界面引导,对数据集与卡片类资产进行向导式搜索。基于轻治理思路,模型地图同时支持模型管理功能。为方便用户更加快速高效的检索到所需数据信息,也支持用户添加标注和业务字典。 模型目录(旧版) 根据已预置的业务架构,用户可以创建并管理自己的模型资产,包括上架,编辑,删除等功能。模型上架成功后,可以在模型地图中检索到对应模型信息。 模型采集 系统预置常用数据源的采集器,针对模型资产的采集提供了数据源管理、采集任务管理功能,用户可按需选择,支持自动/手动采集。 信息架构 信息架构分为业务架构和技术架构。用户可以按照业务场景创建简单易懂的业务架构,用于在模型目录中生成对应的业务模型管理页面,进行业务模型的录入。也可创建关系型数据库、非关系型数据库、开放API等底层技术架构,用于技术模型的采集工作。 业务术语 包含业务字典和数据标准两个功能模块,用户可以创建业务字典和数据标准,并通过绑定操作,方便在模型地图中快速检索和二次过滤。 工作空间 展示收藏的模型资产,支持分组收藏,同时,也支持业务资产审核/数据访问授权、管理审批用户以及管理团队等功能。 行业模板 行业模板市场向用户展示了已有的行业模板,每个行业模板包含了针对该行业不同领域的数据模型,支持共享。
  • 创建http请求 “创建http请求”执行动作为用户提供发送网络请求的能力,用户填写表单信息完成构造HTTP请求。 如图1所示,相关配置项说明如下: 表示用户想要发送的请求方式(GET/POST/PUT/DELETE) 表示用户想要访问的接口URL; 表示调用2中url请求所需携带的请求体参数; 表示调用2中url请求所需的认证方式,用户根据接口的实际调用要求选择对应的认证方式; 填写完毕后执行流,即可发送该请求并获取接口响应信息。 图1 创建http请求 输入参数 用户配置创建http请求执行动作,相关参数说明如表1所示。 表1 创建http请求输入参数说明 参数 必须 说明 方法 是 选择方法,可选GET、PUT、DELETE、POST,有下拉框和输入框模式。 URL 是 输入的请求URL。 标头 否 输入键名称和键值,有输入框模式和键值模式。 查询 否 输入键名称和键值,有输入框模式和键值模式。 正文 否 输入的请求内容。 Cookie 否 输入的HTTP Cookie。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参考表2。 表2 创建http请求输出参数说明 参数 说明 状态 http请求状态。 状态码 http请求状态码。 body 返回的http请求体。
  • 更多操作 基础对象创建完成后,您还可以执行如表1的操作。 表1 相关操作 操作 说明 编辑/下架/删除 单击基础对象右侧“编辑”/“下架”/“删除”,可对基础对象进行管理。 上架状态下编辑基础对象,修改后需单击“上架”,上架修改内容。 上架状态下删除基础对象,需单击“确认删除”,真正删除基础对象。 删除命名空间 单击命名空间所在行的,如果该命名空间下的资产目录处于“未上架”状态,则可直接删除;如果该命名空间下存在已上架的资产目录,则需要将资产目录下架后再进行删除。
  • (可选)添加基础对象属性 除了上述创建基础对象时添加基础对象属性,针对已有基础对象,也可添加、编辑、上架、删除基础对象属性。 在模型目录页面,选择“数据资产信息架构”页签下的“基础对象管理”。 选择已有基础对象实例,单击实例名称前的小箭头,展开基础对象属性。单击“添加基础对象属性”,可以设置基础对象的属性名称、属性值和相关描述。选择已有基础对象属性,可以编辑、上架、删除已有基础对象属性。 设置完成后,单击“确定”。
  • 删除推荐实例 在模型地图页面,单击界面右上方的“检索配置”。 进入到检索配置界面,选择“推荐管理”页签,在推荐实例列表,选择需要删除的推荐实例,单击操作列的“删除”。 单击“确定”。 删除数据后,数据无法找回,请谨慎操作。 您可以对推荐实例进行表2: 表2 其他操作 操作 说明 编辑推荐实例 在推荐实例列表,选择需要编辑的推荐实例,单击操作列的“编辑”。 批量编辑实例 在推荐实例列表,勾选需要编辑的推荐实例,单击列表上方的“编辑”。 批量删除推荐实例 在推荐实例列表,勾选需要删除的推荐实例,单击列表上方的“删除”。 使推荐实例生效 在推荐实例列表,勾选一个或多个需要生效的推荐实例,单击列表上方的“生效”。 使推荐实例失效 在推荐实例列表,勾选一个或多个需要失效的推荐实例,单击列表上方的“失效”。
  • Token校验 客户端在使用Token校验的流程如下。 已获取大屏分享链接和Token。 例如,分享链接https://console.ulanqab.huawei.com/sve/preview.html?region=cn-north-7#/screen/share/18cd21df7bc-WPgj_GqRc。其中“region”的值为“cn-north-7”,“pageId”的值为“18cd21df7bc-WPgj_GqRc”。 使用代码开发工具将大屏分享链接中的pageId和region拼接成如下格式的字符串。 pageId|region; 使用HmacSHA256算法对拼接的字符串进行签名,并将签名后的字符串使用Base64进行转换。签名时需要使用对应的Token。 HmacSHA256签名和Base64转换的示例如下: import java.security.*; import javax.crypto.*; import javax.crypto.spec.SecretKeySpec; import org.apache.commons.codec.binary.Base64; import java.net.URLEncoder; public class ShareWithTokenTest { public static void main(String[] args) throws Exception { System.out.println(getShareUrlWithToken("********722467a9477b5b*******", "cn-7", "*******r1tyy1C7Jenni3p*********")); } public static String getShareUrlWithToken(String pageId, String region, String token){ String data = pageId + "|" + region; String signature = HMACSHA256(data.getBytes(), token.getBytes()); String url = "https://console.huaweicloud.com/sve/share/page.html?id=" + pageId + "®ion=" + region + "&sve_signature=" + signature; return url; } //采用HmacSHA256进行签名并进行Base64转换 public static String HMACSHA256(byte[] data, byte[] key) { try { SecretKeySpec signingKey = new SecretKeySpec(key, "HmacSHA256"); Mac mac = Mac.getInstance("HmacSHA256"); mac.init(signingKey); return URLEncoder.encode(Base64.encodeBase64String(mac.doFinal(data))); } catch (NoSuchAlgorithmException e) { e.printStackTrace(); } catch (InvalidKeyException e) { e.printStackTrace(); } return null; } } 将转换后的字符串赋值给sveSignature,sveSignature参数拼接到大屏分享链接中获取新的访问链接。 例如,新的访问链接https://console.ulanqab.huawei.com/sve/preview.html?sveSignature=1OP99N6yxCDmEiH4aNMU1GAwtKspSg4fJ/zh0679k=®ion=cn-north-7#/screen/share/18cd21df7bc-WPgj_GqRc
  • 连接参数 SQL执行器连接器创建对应连接时连接参数说明如表1所示。如果需要连接的数据库配置了IP地址白名单限制,则需要放通 集成工作台 公网出口访问地址“124.70.83.64”。 表1 连接参数说明 名称 必填 说明 示例值/默认值 连接名称 是 设置连接名称。 SQL执行器连接 描述 否 对于连接的信息描述说明。 description 数据库 是 支持的数据库名称。例如:MySQL或者postgres。 MySQL或者postgres 服务器 是 数据库服务器的url。 127.0.0.1:3306/example?characterEncoding=utf8 用户名 是 数据库用户登录名。 name 用户密码 是 数据库用户登录密码。 - 边缘节点 否 下拉列表中会展示当前可用的边缘节点。 node01
共100000条