华为云用户手册

JupyterLab常用快捷键和插件栏 图12 JupyterLab常用快捷键和插件栏 表1 快捷键说明 快捷键 说明 快速打开Notebook、Terminal。或打开Launcher页面，可快速创建新的Notebook、Console或其他文件。 创建文件夹。 上传文件。 刷新文件目录。 Git插件，可连接此Notebook实例关联的Github代码库。 表2 插件栏常用插件说明 插件 说明 文件列表。单击此处，将展示此Notebook实例下的所有文件列表。 当前实例中正在运行的Terminal和Kernel。 Git插件，可以方便快捷的使用Github代码库。 属性检查器。 文档结构图。 图13 导航栏按钮 表3 导航栏按钮介绍 按钮 说明 File 新建、关闭、保存、重新加载、重命名、导出、打印Notebook等功能。 Edit 编辑ipynb文件中代码块的相关操作，包括撤销、重做、剪切、复制、粘贴、选择、移动、合并、清除、查找代码块等。 View 查看视图相关操作。 Run 运行代码块相关操作，例如：运行选中代码块、一键运行所有代码块等。 Kernel 中断、重启、关闭、改变Kernel相关操作。 Git Git插件相关操作，可以方便快捷的使用Github代码库。 Tabs 同时打开多个ipynb文件时，通过Tabs激活或选择文件。 Settings JupyterLab工具系统设置。 Help JupyterLab工具自带的帮助参考。 图14 ipynb文件菜单栏中的快捷键 表4 ipynb文件菜单栏中的快捷键 快捷键 说明 保存文件。 添加新代码块。 剪切选中的代码块。 复制选中的代码块。 粘贴选中的代码块。 执行选中的代码块。 终止kernel。 重启kernel。 重启kernel，然后重新运行当前Notebook的所有代码。 此处下拉框有4个选项，分别是： Code（写python代码），Markdown（写Markdown代码，通常用于注释），Raw（一个转换工具），-（不修改）。 查看代码历史版本。 git插件，图标显示灰色表示当前Region不支持。 当前的资源规格。 单击可以选择Kernel。 表示代码运行状态，变为实心圆时，表示代码在运行中。 分享到AI Gallery。

新建文件并打开Console Console的本质为Python终端，输入一条语句就会给出相应的输出，类似于Python原生的IDE。 进入JupyterLab主页后，可在“Console”区域下，选择适用的AI引擎，单击后将新建一个对应框架的Notebook文件。 由于每个Notebook实例选择的工作环境不同，其支持的AI框架也不同，下图仅为示例，请根据实际显示界面选择AI框架。 图5 选择AI引擎并新建一个Console 文件创建成功后，将直接呈现Console页面。 图6 新建文件（Console）

Step4 连接Notebook实例 在本地的VS Code开发环境中，右键单击实例名称，单击“Connect to Instance”，启动并连接Notebook实例。 Notebook实例状态处于“运行中”或“停止”状态都可以，如果Notebook实例是停止状态，连接Notebook时，VS Code插件会先启动实例再去连接。 图8 连接Notebook实例 或者单击实例名称，在VS Code开发环境中显示Notebook实例详情页，单击“连接”，系统自动启动该Notebook实例并进行远程连接。 图9 查看Notebook实例详情页 第一次连接Notebook时，系统右下角会提示需要先配置密钥文件。选择本地密钥pem文件，根据系统提示单击“OK”。 图10 配置密钥文件 单击“确定”后，插件自动连接远端Notebook实例。首次连接大约耗时1~2分钟，取决于本地的网络情况。VS Code环境左下角显示类似下图即为连接成功。 图11 连接成功

Step3 创建Notebook实例 创建实例时，需开启“SSH远程开发”，并下载保存密钥对至本地如下目录。 Windows：C:\Users\{{user}} macOS/Linux: Users/{{user}} 密钥对在用户第一次创建时自动下载，之后使用相同的密钥时不会再有下载界面（请妥善保管），或者每次都使用新的密钥对。 创建一个Notebook实例，并开启远程SSH开发，具体参见创建Notebook实例。

常见问题 报错“Permissions for 'x:/xxx.pem' are too open”如何解决？ 报错“ssh: connect to host ModelArts-xxx port xxx: Connection timed out”如何解决？ 报错“Host key verification failed.'或者'Port forwarding is disabled.”如何解决？

Step1 安装VS Code插件 在本地的VS Code开发环境中，如图1所示，在VS Code扩展中搜索“ModelArts-HuaweiCloud”并单击“安装”。 图1 安装VS Code插件 安装过程预计1~2分钟，如图2所示，请耐心等待。 图2 安装过程 安装完成后，系统右下角提示安装完成，导航左侧出现ModelArts图标和SSH远程连接图标，表示VS Code插件安装完成。 图3 安装完成提示 图4 安装完成

准备数据 训练代码工程案例请参考：在gitee的ModelArts-Lab工程中，单击“克隆/下载”，然后单击“下载ZIP”，下载工程。解压缩“ModelArts-Lab-master.zip”文件，然后在“\ModelArts-Lab-master\official_examples\Using_MXNet_to_Create_a_MNIST_Dataset_Recognition_Application\codes”目录中获取到训练代码文件“train_mnist.py”。 数据集案例请参考：从MNIST官网下载“Mnist-Data-Set”数据集至本地，然后解压zip包，将“Mnist-Data-Set”文件夹下的所有文件上传至“test-modelarts2/dataset-mnist”OBS路径下。

数据集统计信息可视化 数据集API支持自动统计数据集信息，比如目标、尺寸等信息，帮助用户更好的理解数据集，同时还可以动态查看每一个batch经过pipeline之后的输入图像，确保数据增强的正确性。 db.plot_dataset_stats() 可以绘制数据集的统计信息，图像的显示大小可以由figsize参数控制； db.print_dataset_stats() 能够打印出具体的统计信息数值； db.show_batch() 可以动态展示内存中的经过增强后的图片信息，可以通过rows（显示行数）和figsize（显示大小）来控制输出。 注：show_batch返回一个生成器，可以使用next进行访问，比如： plotter = db.show_batch(rows=2, figsize=(14, 8)) next(plotter) 表2 show_batch参数说明 参数名称 可选/必选 参数类型 参数描述 rows 可选 int batch绘制行数，默认为1。 figsize 可选 tuple 画布尺寸。

加载数据集 from modelarts.algo_kits import DetDataBlock """ 加载coco格式数据集，并指定训练集和验证集文件路径，类别数和类别信息默认会自动读取。 """ db = DetDataBlock(env, batch_size=8, data_root="./data/raw/coco2017_sample", num_classes=80, train_img_prefix="val2017", train_ann_file="annotations/instances_val2017.json", val_img_prefix="val2017", val_ann_file="annotations/instances_val2017.json", model_name="mmdetection:fcos/fcos_r50_caffe_fpn_gn-head_1x_coco" ) 表1 DetDataBlock参数说明 参数名称 可选/必选 参数类型 参数描述 env 必选 EnvManager Object 上下文管理对象，初始化方法请参考算法工程环境管理。 batch_size 可选 int 批处理大小，默认为8。 workers 可选 int 数据加载进程数，默认为4。 data_type 可选 string 数据集类型，目前只支持“coco”，其他数据集格式可以通过COCOConverter进行转换。 data_root 必选 string 数据集路径。 seed 可选 int 随机数种子。 num_classes 可选 int 类别数，默认会从标注信息中读取。 categories 可选 list / tuple / string 类别信息，默认会从标注信息中读取，如果指定类别信息，则只加载对应类别的数据。 train_img_prefix 必选 string 训练集图片的相对路径（相对于data_root）。 train_ann_file 必选 string 训练集标注文件的相对路径（相对于data_root）。 val_img_prefix 可选 string 验证集图片的相对路径（相对于data_root），默认不加载验证集信息。 val_ann_file 可选 string 验证集标注文件的相对路径（相对于data_root），默认不加载验证集信息。 test_img_prefix 可选 string 测试集图片的相对路径（相对于data_root），默认不加载测试集信息。 test_ann_file 可选 string 测试集标注文件的相对路径（相对于data_root），默认不加载测试集信息。 model_name 必选 string 模型名称。

DLI 作业类型 DLI 提供了三种作业类型： SQL作业：SQL作业为用户提供标准的SQL，兼容Spark SQL、Presto SQL（基于Presto），通过可视化界面API、JDBC、ODBC、Beeline等多种接入方式对云上异构数据源进行查询分析，兼容 CS V、JSON、Parquet、Carbon、ORC等主流数据格式。 Flink作业：Flink作业是运行在公有云上的实时流式大数据分析服务作业，全托管的方式用户无需感知计算集群，只需聚焦于Stream SQL业务，即时执行作业，完全兼容Apache Flink API。 Spark作业：Spark作业可为用户提供全托管式的Spark计算服务。用户可通过可视化界面和RESTful API提交作业，支持提交Spark Core、DataSet、Streaming、MLlib、GraphX等Spark全栈作业。

边缘小站 权限 对应的API接口 授权项（Action） 依赖的授权项 企业项目 (Enterprise Project) 创建边缘小站 POST /v1/{domain_id}/edge-sites ies:edgeSite:create - √ 查询边缘小站列表 GET /v1/{domain_id}/edge-sites ies:edgeSite:list - √ 更新边缘小站 PUT /v1/{domain_id}/edge-sites/{site_id} ies:edgeSite:update - √ 查询边缘小站详情 GET /v1/{domain_id}/edge-sites/{site_id} ies:edgeSite:get - √ 删除边缘小站 DELETE /v1/{domain_id}/edge-sites/{site_id} ies:edgeSite:delete - √ 父主题： 权限和授权项

存储池 权限 对应的API接口 授权项（Action） 依赖的授权项 企业项目 (Enterprise Project) 查询存储池列表 GET /v1/{domain_id}/storage-pools ies:storagePool:list - √ 查询存储池详情 GET /v1/{domain_id}/storage-pools/{id} ies:storagePool:get - √ 父主题： 权限和授权项

响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 zones Array of ZoneDetail objects 地区列表 page_info PageInfo object 分页信息 表5 ZoneDetail 参数 参数类型 描述 code String 地区编码，如CN。不区分大小写，统一转为大写处理 name String 地区名称 表6 PageInfo 参数 参数类型 描述 next_marker String 下一页标识。 current_count Integer 当前页数量。

URI GET /v1/{domain_id}/zones 表1 路径参数 参数 是否必选 参数类型 描述 domain_id 是 String path中租户的账号ID 最大长度：36 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页的数量 最小值：1 最大值：2000 缺省值：2000 marker 否 String 分页标识 sort_key 否 Array 排序字段 sort_dir 否 Array 排序方式，取值范围： desc：降序 asc：升序

URI POST /v1/{project_id}/eihealth-projects/{eihealth_project_id}/nextflow/jobs 表1 路径参数 参数 是否必选 参数类型 描述 eihealth_project_id 是 String 平台项目ID，您可以在平台单击所需的项目名称，进入项目设置页面查看。 最小长度：1 最大长度：128 project_id 是 String 华为云项目ID，您可以从获取项目ID中获取。 最小长度：1 最大长度：128

请求示例 创建Nextflow作业，作业名为demo-job，指定id为caadcb56-5bb6-11eb-8a0d-fa163e3ddba1的流程 https://eihealth.cn-north-4.myhuaweicloud.com/v1/{project_id}/eihealth-projects/{eihealth_project_id}/nextflow/jobs { "name" : "demo-job", "description" : "description", "labels" : "labelA,labelB", "workflow_id" : "caadcb56-5bb6-11eb-8a0d-fa163e3ddba1" }

请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限， 获取Token 接口响应消息头中X-Subject-Token的值即为Token。 最小长度：1 最大长度：32768 表3 FormData参数 参数 是否必选 参数类型 描述 name 是 String 作业的名称，取值范围：[1,63]，允许大小写字母、数字、以及特殊字符中划线(-) 最小长度：1 最大长度：63 description 否 String 作业的描述,取值范围：输入字符最大长度为255 最小长度：0 最大长度：255 labels 否 Array of strings 作业标签，取值范围[0,5]，单个标签最大长度32字符，支持中文、字母、数字、空格、下划线和中划线，且不能以空格开头或者结尾。 最小长度：1 最大长度：32 数组长度：0 - 5 workflow_id 是 String 作业依赖的流程id 最小长度：0 最大长度：135 params 否 File 流程参数列表文件，取值范围[0, 10M] priority 否 Integer 作业的优先级,取值范围[0,9]，0最低，默认数值0 最小值：0 最大值：9 缺省值：0

响应示例 状态码： 200 OK { "count" : 1, "templates" : [ { "id" : "56e0f1b0-ac10-46a5-8fa7-b26831d7d488", "name" : "demo-template", "description" : "description", "source_project_name" : "source project", "source_project_id" : "86e0f1b0-ac10-46a5-8fa7-b26831d7d488", "source_template_id" : "66e0f1b0-ac10-46a5-8fa7-b26831d7d488", "creator" : "demo-user", "columns" : [ { "name" : "column1", "type" : "Long", "description" : "description", "nullable" : false, "primary" : true, "searchable" : true, "unique" : true, "tips" : "tips" } ], "create_time" : "2021-01-29T09:10:27Z", "primary_key" : "ID,GROUP", "is_prefab" : false } ] }

响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 count Integer 模板总数 templates Array of TemplateRsp objects 模板列表 表4 TemplateRsp 参数 参数类型 描述 id String 模板id name String 模板名称 description String 模板描述 source_project_name String 来源项目名称 source_project_id String 来源项目id source_template_id String 来源模板id creator String 创建者 columns Array of DatabaseColumnDto objects 数据库列信息列表 create_time String 创建时间 primary_key String 主键 is_prefab Boolean 是否是预置模板 表5 DatabaseColumnDto 参数 参数类型 描述 name String 列名 最小长度：1 最大长度：55 type String 列类型 枚举值： Long String Double description String 列描述信息 最小长度：0 最大长度：1024 nullable Boolean 列是否允许为空 primary Boolean 是否作为主键 searchable Boolean 是否可查询 unique Boolean 是否唯一 tips String 查询参数格式的提示信息 最小长度：0 最大长度：1024

URI GET /v1/{project_id}/eihealth-projects/{eihealth_project_id}/templates 表1 路径参数 参数 是否必选 参数类型 描述 eihealth_project_id 是 String 平台项目ID，您可以在平台单击所需的项目名称，进入项目设置页面查看。 最小长度：1 最大长度：128 project_id 是 String 华为云项目ID，您可以从获取项目ID中获取。 最小长度：1 最大长度：128

响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 idle_time Integer 空置时间 threshold Integer 缩容阈值 delay_after_add Integer 扩容后多久再次判断缩容 delay_after_delete Integer 节点删除后多久再次判断缩容 delay_after_failure Integer 缩容失败后多久再次判断缩容 max_nodes_batch_deletion Integer 缩容并发数 check_interval Integer 检查间隔

响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 count Integer 镜像版本总数 tags Array of GetTagDetailRsp objects 镜像版本详情列表 表4 GetTagDetailRsp 参数 参数类型 描述 tag String 镜像版本名称 size Long 镜像版本大小 create_time String 镜像版本创建时间 update_time String 镜像版本更新时间 path String 镜像地址

URI GET /v1/{project_id}/eihealth-projects/{eihealth_project_id}/images/{image_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 eihealth_project_id 是 String 平台项目ID，您可以在平台单击所需的项目名称，进入项目设置页面查看。 最小长度：1 最大长度：128 image_id 是 String 镜像id 最小长度：1 最大长度：128 project_id 是 String 华为云项目ID，您可以从获取项目ID中获取。 最小长度：1 最大长度：128

响应示例 状态码： 200 OK { "count" : 1, "tags" : [ { "tag" : "v1.0", "size" : 269325517, "create_time" : "2020-12-28T09:36:41Z", "update_time" : "2020-12-28T09:36:41Z", "path" : "swr.cn-north-7.myhuaweicloud.com/namespace/image-name" } ] }

请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限，获取Token接口响应消息头中X-Subject-Token的值即为Token。 最小长度：1 最大长度：32768 表3 请求Body参数 参数 是否必选 参数类型 描述 mode 是 String 创建配体相似度图的模式：中心模式、自由模式。 枚举值： CENTER FREE ligands 是 Array of CreateLigandSimilarityGraphLigandDto objects 配体列表。 数组长度：2 - 101 表4 CreateLigandSimilarityGraphLigandDto 参数 是否必选 参数类型 描述 name 是 String 配体分子唯一名字，受体中的建议使用"{氨基酸}:{链}:{编号}"。 最小长度：1 最大长度：32 smiles 是 String 分子SMILES表达式。 最小长度：1 最大长度：512 main 否 Boolean 配体是否为主要配体，在中心模式下，必须指定1个主要配体。 缺省值：false

URI POST /v1/{project_id}/eihealth-projects/{eihealth_project_id}/drug-common/ligand/similarity-graph 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，您可以从获取项目ID中获取。 最小长度：1 最大长度：128 eihealth_project_id 是 String 平台项目ID。 最小长度：1 最大长度：128

URI GET /v1/{project_id}/system/autoscaler/scale-out-policies/{id}/computing-resources 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 华为云项目ID，您可以从获取项目ID中获取。 最小长度：1 最大长度：128 id 是 String 策略id 最小长度：1 最大长度：128

URI GET /v1/{project_id}/eihealth-projects/{eihealth_project_id}/nextflow/workflows/{workflow_id} 表1 路径参数 参数 是否必选 参数类型 描述 eihealth_project_id 是 String 平台项目ID，您可以在平台单击所需的项目名称，进入项目设置页面查看。 最小长度：1 最大长度：128 project_id 是 String 华为云项目ID，您可以从获取项目ID中获取。 最小长度：1 最大长度：128 workflow_id 是 String 流程id 最小长度：1 最大长度：128

响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 id String 流程id name String 流程名称 description String 流程描述 labels Array of strings 流程标签 workflow_file String 流程的文件名 workflow_file_url String 流程的文件名下载地址 main_file String 主文件名 params_file String 用户上传时使用的参数文件名 params Array of NextflowParamsDto objects 流程参数列表 create_time String 流程的创建时间 update_time String 流程的更新时间 source_project_name String 源项目名称 source_resource_id String 源资源id 表4 NextflowParamsDto 参数 参数类型 描述 name String 参数名 最小长度：1 最大长度：1024 value String 参数值 最小长度：0 最大长度：65535 type String 参数类型,取值[Other|File|Directory] 最小长度：0 最大长度：20 description String 参数描述。取值范围：[0-255] 最小长度：0 最大长度：255 required Boolean 参数是否必填

响应示例 状态码： 200 OK { "id" : "baabcb56-5bb6-11eb-8a0d-fa163e3ddba1", "name" : "demo-workflow", "description" : "description", "labels" : [ "labelA", "labelB" ], "create_time" : "2021-01-30T02:34:36Z", "update_time" : "2021-01-30T02:53:26Z", "workflow_file" : "workflow.zip", "workflow_file_url" : "https://workflow.zip", "main_file" : "main.nf", "params_file" : "p1.yaml", "source_project_name" : "src", "source_resource_id" : "src-id", "params" : [ { "name" : "p1", "value" : "hello", "type" : "Other", "description" : "desc", "required" : true } ] }