华为云用户手册

  • 数据库实例状态 数据库实例状态是数据库实例的运行情况。用户可以使用管理控制台查看数据库实例状态。 表1 状态及说明 状态 说明 正常 数据库实例正常和可用。 异常 数据库实例不可用。 创建中 正在创建数据库实例。 创建失败 数据库实例创建失败。 重启中 正在重启数据库实例。 实例名称修改中 正在修改数据库实例名称。 端口修改中 正在修改数据库实例的数据库端口。 规格变更中 正在变更数据库实例的CPU和内存规格。 添加只读中 正在进行数据库实例添加只读节点。 删除只读中 正在进行数据库实例删除只读节点。 只读升主中 只读节点正在切换为主节点。 只读节点隔离中 只读节点正在进行隔离。 只读节点已隔离 只读节点完成隔离操作。 备份中 正在备份数据库实例。 扩容中 正在扩容数据库实例的磁盘空间。 冻结 账户余额小于或等于0元,系统对该用户下的实例进行冻结。您需前往费用中心进行充值,充值成功且欠款核销后,冻结保留期内的实例才会解冻。 证书配置变更中 正在进行数据库实例证书配置变更。 Serverless算力变更中 Serverless实例正在进行算力变更。 小版本升级中 正在进行数据库实例内核版本升级。 已删除 数据库实例已被删除,对于已经删除的实例,将不会在实例列表中显示。
  • 基于VisPlatform进行图片/视频推理 图片推理 方式1:在线推理 VisDetPlatform(learner, stage="val", det_box_color=(0, 0, 255)) 单击“Select”按钮可以交互式选择需要预测的文件、文件夹,会自动过滤出文件夹支持的图片及视频。 当检测框置信度大于“Score Thr”时会在图片中显示,当检测框和标注框的iou值大于“Iou Thr”时会显示蓝色框,当iou值小于“Iou Thr时”会显示红色框。 “Category”默认选择“ALL”,表示会显示所有类别信息,也可以选择只显示某一种类别。 “Pred_bbox”表示是否显示检测框,“Pred_label”表示是否显示对应预测的标签和置信度,“GT_bbox”表示是否显示标注框,“GT_label”表示是否显示对应的标签。 方式2: 离线推理 在验证集进行评估,并保存验证集检测结果到文件中。 learner.validate(out="./output/mmdetection/fcos/prediction.pkl") 使用检测结果文件和标注进行离线推理 VisDetPlatform(ann_json="./data/raw/helmet/annotations/instances_val2017.json", det_file="./output/mmdetection/fcos/prediction.pkl") 此时的交互式方式和在线推理类似,但是不支持视频的推理。 方式3: 数据集可视化 只展示数据集标注信息。 VisDetPlatform(ann_json="./data/raw/helmet/annotations/instances_val2017.json") 如果只传入ann_json路径,那么可以使用VisDetPlatform对数据集进行可视化,此时pred_bbox、pred_label、Score Thr和IoU Thr被锁定,无法进行编辑操作; 只会对于ann_json中具有标注信息的图片进行可视化。 视频推理 infer_param = {"nms_pre": 100, "max_per_img": 20, "img_scale": (800, 600)} # 默认为None VisDetPlatform(learner, infer_param=infer_param, stage="val", det_box_color=(0, 0, 255)) infer_param参数取值默认为None,则会使用默认的推理配置参数,设置infer_param后(接收nms_pre, max_per_img, img_scale),能够提高视频推理的FPS; 视频推理模式下,pred_bbox、pred_label、GT_bbox、GT_label和IoU Thr无效; 开启async模式后,对于小模型而言,适量增大“batch size”的大小能够提高视频推理的FPS,如下图所示:
  • VisPlatform from modelarts.algo_kits import VisDetPlatform VisDetPlatform(learner, stage="val", det_box_color=(0, 0, 255)) 表1 Valplatform参数说明 参数名称 可选/必选 参数类型 参数描述 learner 可选 Learner object Learner对象,用于在线实时推理,在离线推理或数据集可视化场景可省略。 stage 可选 string 推理图片所属的DataBlock数据集类别,包括"train"、"val"、"test",默认为"train",只对在线推理有效。 classes 可选 list 需要展示的类别列表。 ann_json 可选 string 标注文件路径,主要用于离线展示。 det_file 可选 string 验证输出的检测结果文件路径,主要用于离线展示。 det_box_color 可选 tuple 检测框颜色,默认为(0, 0, 255) gt_box_color 可选 string GT标注框颜色,默认为(80, 127, 255) without_gt 可选 bool 离线推理是否包含gt信息。 mask_palette 可选 list mask蒙版颜色列表,如果不设置,则使用随机颜色,只对mask类算法生效。 infer_param 可选 dict 推理相关参数,如不指定则使用配置文件默认参数,与推理速度相关,目前只对mmdetection类模型生效,主要包含: 1. nms_pre:nms操作前生成的bbox数量 2. max_per_img:每张图片最大目标数 3. img_scale:图像resize尺寸。
  • 常见问题 在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,未弹出VS Code窗口 远程连接出现弹窗报错:Could not establish connection to xxx 在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,VS Code打开后未进行远程连接 报错“ssh: connect to host xxx.pem port xxxxx: Connection refused”如何解决? 报错“no such identity: C:/Users/xx /test.pem: No such file or directory”如何解决? 报错“Bad owner or permissions on C:\Users\Administrator/.ssh/config”或“Connection permission denied (publickey)”如何解决?
  • JupyterLab常用快捷键和插件栏 图12 JupyterLab常用快捷键和插件栏 表1 快捷键说明 快捷键 说明 快速打开Notebook、Terminal。或打开Launcher页面,可快速创建新的Notebook、Console或其他文件。 创建文件夹。 上传文件。 刷新文件目录。 Git插件,可连接此Notebook实例关联的Github代码库。 表2 插件栏常用插件说明 插件 说明 文件列表。单击此处,将展示此Notebook实例下的所有文件列表。 当前实例中正在运行的Terminal和Kernel。 Git插件,可以方便快捷的使用Github代码库。 属性检查器。 文档结构图。 图13 导航栏按钮 表3 导航栏按钮介绍 按钮 说明 File 新建、关闭、保存、重新加载、重命名、导出、打印Notebook等功能。 Edit 编辑ipynb文件中代码块的相关操作,包括撤销、重做、剪切、复制、粘贴、选择、移动、合并、清除、查找代码块等。 View 查看视图相关操作。 Run 运行代码块相关操作,例如:运行选中代码块、一键运行所有代码块等。 Kernel 中断、重启、关闭、改变Kernel相关操作。 Git Git插件相关操作,可以方便快捷的使用Github代码库。 Tabs 同时打开多个ipynb文件时,通过Tabs激活或选择文件。 Settings JupyterLab工具系统设置。 Help JupyterLab工具自带的帮助参考。 图14 ipynb文件菜单栏中的快捷键 表4 ipynb文件菜单栏中的快捷键 快捷键 说明 保存文件。 添加新代码块。 剪切选中的代码块。 复制选中的代码块。 粘贴选中的代码块。 执行选中的代码块。 终止kernel。 重启kernel。 重启kernel,然后重新运行当前Notebook的所有代码。 此处下拉框有4个选项,分别是: Code(写python代码),Markdown(写Markdown代码,通常用于注释),Raw(一个转换工具),-(不修改)。 查看代码历史版本。 git插件,图标显示灰色表示当前Region不支持。 当前的资源规格。 单击可以选择Kernel。 表示代码运行状态,变为实心圆时,表示代码在运行中。 分享到AI Gallery。
  • 新建文件并打开Console Console的本质为Python终端,输入一条语句就会给出相应的输出,类似于Python原生的IDE。 进入JupyterLab主页后,可在“Console”区域下,选择适用的AI引擎,单击后将新建一个对应框架的Notebook文件。 由于每个Notebook实例选择的工作环境不同,其支持的AI框架也不同,下图仅为示例,请根据实际显示界面选择AI框架。 图5 选择AI引擎并新建一个Console 文件创建成功后,将直接呈现Console页面。 图6 新建文件(Console)
  • Step1 安装VS Code插件 在本地的VS Code开发环境中,如图1所示,在VS Code扩展中搜索“ModelArts-HuaweiCloud”并单击“安装”。 图1 安装VS Code插件 安装过程预计1~2分钟,如图2所示,请耐心等待。 图2 安装过程 安装完成后,系统右下角提示安装完成,导航左侧出现ModelArts图标和SSH远程连接图标,表示VS Code插件安装完成。 图3 安装完成提示 图4 安装完成
  • Step4 连接Notebook实例 在本地的VS Code开发环境中,右键单击实例名称,单击“Connect to Instance”,启动并连接Notebook实例。 Notebook实例状态处于“运行中”或“停止”状态都可以,如果Notebook实例是停止状态,连接Notebook时,VS Code插件会先启动实例再去连接。 图8 连接Notebook实例 或者单击实例名称,在VS Code开发环境中显示Notebook实例详情页,单击“连接”,系统自动启动该Notebook实例并进行远程连接。 图9 查看Notebook实例详情页 第一次连接Notebook时,系统右下角会提示需要先配置密钥文件。选择本地密钥pem文件,根据系统提示单击“OK”。 图10 配置密钥文件 单击“确定”后,插件自动连接远端Notebook实例。首次连接大约耗时1~2分钟,取决于本地的网络情况。VS Code环境左下角显示类似下图即为连接成功。 图11 连接成功
  • 常见问题 报错“Permissions for 'x:/xxx.pem' are too open”如何解决? 报错“ssh: connect to host ModelArts-xxx port xxx: Connection timed out”如何解决? 报错“Host key verification failed.'或者'Port forwarding is disabled.”如何解决?
  • Step3 创建Notebook实例 创建实例时,需开启“SSH远程开发”,并下载保存密钥对至本地如下目录。 Windows:C:\Users\{{user}} macOS/Linux: Users/{{user}} 密钥对在用户第一次创建时自动下载,之后使用相同的密钥时不会再有下载界面(请妥善保管),或者每次都使用新的密钥对。 创建一个Notebook实例,并开启远程SSH开发,具体参见创建Notebook实例。
  • 准备数据 训练代码工程案例请参考:在gitee的ModelArts-Lab工程中,单击“克隆/下载”,然后单击“下载ZIP”,下载工程。解压缩“ModelArts-Lab-master.zip”文件,然后在“\ModelArts-Lab-master\official_examples\Using_MXNet_to_Create_a_MNIST_Dataset_Recognition_Application\codes”目录中获取到训练代码文件“train_mnist.py”。 数据集案例请参考:从MNIST官网下载“Mnist-Data-Set”数据集至本地,然后解压zip包,将“Mnist-Data-Set”文件夹下的所有文件上传至“test-modelarts2/dataset-mnist”OBS路径下。
  • 数据集统计信息可视化 数据集API支持自动统计数据集信息,比如目标、尺寸等信息,帮助用户更好的理解数据集,同时还可以动态查看每一个batch经过pipeline之后的输入图像,确保数据增强的正确性。 db.plot_dataset_stats() 可以绘制数据集的统计信息,图像的显示大小可以由figsize参数控制; db.print_dataset_stats() 能够打印出具体的统计信息数值; db.show_batch() 可以动态展示内存中的经过增强后的图片信息,可以通过rows(显示行数)和figsize(显示大小)来控制输出。 注:show_batch返回一个生成器,可以使用next进行访问,比如: plotter = db.show_batch(rows=2, figsize=(14, 8)) next(plotter) 表2 show_batch参数说明 参数名称 可选/必选 参数类型 参数描述 rows 可选 int batch绘制行数,默认为1。 figsize 可选 tuple 画布尺寸。
  • 加载数据集 from modelarts.algo_kits import DetDataBlock """ 加载coco格式数据集,并指定训练集和验证集文件路径,类别数和类别信息默认会自动读取。 """ db = DetDataBlock(env, batch_size=8, data_root="./data/raw/coco2017_sample", num_classes=80, train_img_prefix="val2017", train_ann_file="annotations/instances_val2017.json", val_img_prefix="val2017", val_ann_file="annotations/instances_val2017.json", model_name="mmdetection:fcos/fcos_r50_caffe_fpn_gn-head_1x_coco" ) 表1 DetDataBlock参数说明 参数名称 可选/必选 参数类型 参数描述 env 必选 EnvManager Object 上下文管理对象,初始化方法请参考算法工程环境管理。 batch_size 可选 int 批处理大小,默认为8。 workers 可选 int 数据加载进程数,默认为4。 data_type 可选 string 数据集类型,目前只支持“coco”,其他数据集格式可以通过COCOConverter进行转换。 data_root 必选 string 数据集路径。 seed 可选 int 随机数种子。 num_classes 可选 int 类别数,默认会从标注信息中读取。 categories 可选 list / tuple / string 类别信息,默认会从标注信息中读取,如果指定类别信息,则只加载对应类别的数据。 train_img_prefix 必选 string 训练集图片的相对路径(相对于data_root)。 train_ann_file 必选 string 训练集标注文件的相对路径(相对于data_root)。 val_img_prefix 可选 string 验证集图片的相对路径(相对于data_root),默认不加载验证集信息。 val_ann_file 可选 string 验证集标注文件的相对路径(相对于data_root),默认不加载验证集信息。 test_img_prefix 可选 string 测试集图片的相对路径(相对于data_root),默认不加载测试集信息。 test_ann_file 可选 string 测试集标注文件的相对路径(相对于data_root),默认不加载测试集信息。 model_name 必选 string 模型名称。
  • DLI 作业类型 DLI 提供了三种作业类型: SQL作业:SQL作业为用户提供标准的SQL,兼容Spark SQL、Presto SQL(基于Presto),通过可视化界面API、JDBC、ODBC、Beeline等多种接入方式对云上异构数据源进行查询分析,兼容 CS V、JSON、Parquet、Carbon、ORC等主流数据格式。 Flink作业:Flink作业是运行在公有云上的实时流式大数据分析服务作业,全托管的方式用户无需感知计算集群,只需聚焦于Stream SQL业务,即时执行作业,完全兼容Apache Flink API。 Spark作业:Spark作业可为用户提供全托管式的Spark计算服务。用户可通过可视化界面和RESTful API提交作业,支持提交Spark Core、DataSet、Streaming、MLlib、GraphX等Spark全栈作业。
  • 边缘小站 权限 对应的API接口 授权项(Action) 依赖的授权项 企业项目 (Enterprise Project) 创建边缘小站 POST /v1/{domain_id}/edge-sites ies:edgeSite:create - √ 查询边缘小站列表 GET /v1/{domain_id}/edge-sites ies:edgeSite:list - √ 更新边缘小站 PUT /v1/{domain_id}/edge-sites/{site_id} ies:edgeSite:update - √ 查询边缘小站详情 GET /v1/{domain_id}/edge-sites/{site_id} ies:edgeSite:get - √ 删除边缘小站 DELETE /v1/{domain_id}/edge-sites/{site_id} ies:edgeSite:delete - √ 父主题: 权限和授权项
  • 存储池 权限 对应的API接口 授权项(Action) 依赖的授权项 企业项目 (Enterprise Project) 查询存储池列表 GET /v1/{domain_id}/storage-pools ies:storagePool:list - √ 查询存储池详情 GET /v1/{domain_id}/storage-pools/{id} ies:storagePool:get - √ 父主题: 权限和授权项
  • URI GET /v1/{domain_id}/zones 表1 路径参数 参数 是否必选 参数类型 描述 domain_id 是 String path中租户的账号ID 最大长度:36 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页的数量 最小值:1 最大值:2000 缺省值:2000 marker 否 String 分页标识 sort_key 否 Array 排序字段 sort_dir 否 Array 排序方式,取值范围: desc:降序 asc:升序
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 zones Array of ZoneDetail objects 地区列表 page_info PageInfo object 分页信息 表5 ZoneDetail 参数 参数类型 描述 code String 地区编码,如CN。不区分大小写,统一转为大写处理 name String 地区名称 表6 PageInfo 参数 参数类型 描述 next_marker String 下一页标识。 current_count Integer 当前页数量。
  • URI POST /v1/{project_id}/eihealth-projects/{eihealth_project_id}/nextflow/jobs 表1 路径参数 参数 是否必选 参数类型 描述 eihealth_project_id 是 String 平台项目ID,您可以在平台单击所需的项目名称,进入项目设置页面查看。 最小长度:1 最大长度:128 project_id 是 String 华为云项目ID,您可以从获取项目ID中获取。 最小长度:1 最大长度:128
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限, 获取Token 接口响应消息头中X-Subject-Token的值即为Token。 最小长度:1 最大长度:32768 表3 FormData参数 参数 是否必选 参数类型 描述 name 是 String 作业的名称,取值范围:[1,63],允许大小写字母、数字、以及特殊字符中划线(-) 最小长度:1 最大长度:63 description 否 String 作业的描述,取值范围:输入字符最大长度为255 最小长度:0 最大长度:255 labels 否 Array of strings 作业标签,取值范围[0,5],单个标签最大长度32字符,支持中文、字母、数字、空格、下划线和中划线,且不能以空格开头或者结尾。 最小长度:1 最大长度:32 数组长度:0 - 5 workflow_id 是 String 作业依赖的流程id 最小长度:0 最大长度:135 params 否 File 流程参数列表文件,取值范围[0, 10M] priority 否 Integer 作业的优先级,取值范围[0,9],0最低,默认数值0 最小值:0 最大值:9 缺省值:0
  • 请求示例 创建Nextflow作业,作业名为demo-job,指定id为caadcb56-5bb6-11eb-8a0d-fa163e3ddba1的流程 https://eihealth.cn-north-4.myhuaweicloud.com/v1/{project_id}/eihealth-projects/{eihealth_project_id}/nextflow/jobs { "name" : "demo-job", "description" : "description", "labels" : "labelA,labelB", "workflow_id" : "caadcb56-5bb6-11eb-8a0d-fa163e3ddba1" }
  • 响应示例 状态码: 200 OK { "count" : 1, "templates" : [ { "id" : "56e0f1b0-ac10-46a5-8fa7-b26831d7d488", "name" : "demo-template", "description" : "description", "source_project_name" : "source project", "source_project_id" : "86e0f1b0-ac10-46a5-8fa7-b26831d7d488", "source_template_id" : "66e0f1b0-ac10-46a5-8fa7-b26831d7d488", "creator" : "demo-user", "columns" : [ { "name" : "column1", "type" : "Long", "description" : "description", "nullable" : false, "primary" : true, "searchable" : true, "unique" : true, "tips" : "tips" } ], "create_time" : "2021-01-29T09:10:27Z", "primary_key" : "ID,GROUP", "is_prefab" : false } ] }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 count Integer 模板总数 templates Array of TemplateRsp objects 模板列表 表4 TemplateRsp 参数 参数类型 描述 id String 模板id name String 模板名称 description String 模板描述 source_project_name String 来源项目名称 source_project_id String 来源项目id source_template_id String 来源模板id creator String 创建者 columns Array of DatabaseColumnDto objects 数据库列信息列表 create_time String 创建时间 primary_key String 主键 is_prefab Boolean 是否是预置模板 表5 DatabaseColumnDto 参数 参数类型 描述 name String 列名 最小长度:1 最大长度:55 type String 列类型 枚举值: Long String Double description String 列描述信息 最小长度:0 最大长度:1024 nullable Boolean 列是否允许为空 primary Boolean 是否作为主键 searchable Boolean 是否可查询 unique Boolean 是否唯一 tips String 查询参数格式的提示信息 最小长度:0 最大长度:1024
  • URI GET /v1/{project_id}/eihealth-projects/{eihealth_project_id}/templates 表1 路径参数 参数 是否必选 参数类型 描述 eihealth_project_id 是 String 平台项目ID,您可以在平台单击所需的项目名称,进入项目设置页面查看。 最小长度:1 最大长度:128 project_id 是 String 华为云项目ID,您可以从获取项目ID中获取。 最小长度:1 最大长度:128
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 idle_time Integer 空置时间 threshold Integer 缩容阈值 delay_after_add Integer 扩容后多久再次判断缩容 delay_after_delete Integer 节点删除后多久再次判断缩容 delay_after_failure Integer 缩容失败后多久再次判断缩容 max_nodes_batch_deletion Integer 缩容并发数 check_interval Integer 检查间隔
  • URI GET /v1/{project_id}/eihealth-projects/{eihealth_project_id}/images/{image_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 eihealth_project_id 是 String 平台项目ID,您可以在平台单击所需的项目名称,进入项目设置页面查看。 最小长度:1 最大长度:128 image_id 是 String 镜像id 最小长度:1 最大长度:128 project_id 是 String 华为云项目ID,您可以从获取项目ID中获取。 最小长度:1 最大长度:128
  • 响应示例 状态码: 200 OK { "count" : 1, "tags" : [ { "tag" : "v1.0", "size" : 269325517, "create_time" : "2020-12-28T09:36:41Z", "update_time" : "2020-12-28T09:36:41Z", "path" : "swr.cn-north-7.myhuaweicloud.com/namespace/image-name" } ] }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 count Integer 镜像版本总数 tags Array of GetTagDetailRsp objects 镜像版本详情列表 表4 GetTagDetailRsp 参数 参数类型 描述 tag String 镜像版本名称 size Long 镜像版本大小 create_time String 镜像版本创建时间 update_time String 镜像版本更新时间 path String 镜像地址
  • 请求示例 创建自由能微扰作业,作业名称为demo-job,受体文件为project:/dir/file,配体分别为GLY:A:514和UNK1,路径图的中心配体为GLY:A:514,配体对分别为GLY:A:514和DrugBank:UNK1,预平衡步数为5000,平衡步数为50000,时间步长为0.002,lambda的个数为20。 https://{endpoint}/v1/{project_id}/eihealth-projects/{eihealth_project_id}/drug-jobs/fep { "basic_info" : { "name" : "demo-job", "labels" : [ "labelA" ] }, "receptor" : { "source" : "PRIVATE", "url" : "project:/dir/file" }, "ligands" : [ { "name" : "GLY:A:514", "smiles" : "C1CCCCC1", "index" : 0, "file" : { "source" : "RAW", "format" : "PDB", "data" : "MODEL1.xxxxxxx.END" } }, { "name" : "UNK1", "smiles" : "c1ccccc1", "index" : 0, "file" : { "source" : "PRIVATE", "url" : "project:/dir/file" } } ], "graph" : { "center_id" : "GLY:A:514", "pairs" : [ { "ligand_ids" : [ "GLY:A:514", "DrugBank:UNK1" ] } ] }, "params" : { "num_pre_equilibrium_steps" : 50000, "num_equilibrium_steps" : 500000, "timestep_size" : 0.002, "num_lambda" : 20 } }
  • 响应示例 状态码: 201 CREATED 创建自由能微扰作业成功。 { "id" : "baabcb56-5bb6-11eb-8a0d-fa163e3ddba1" } 创建自由能微扰作业成功,当前运行作业数已达配额限制,此作业会等待。 { "id" : "baabcb56-5bb6-11eb-8a0d-fa163e3ddba1", "limit_concurrency" : 50 }
共100000条