检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标注类型,可选“主动学习”或者“预标注”,详见表1和表2。 表1 主动学习 参数 说明 智能标注类型 “主动学习”。“主动学习”表示系统将自动使用半监督学习、难例筛选等多种手段进行智能标注,降低人工标注量,帮助用户找到难例。 算法类型 针对“图像分类”类型的数据集,您需要选择以下参数。
参数类型 说明 id 是 String SFS Turbo 文件系统 ID。 src_path 是 String SFS Turbo 文件系统地址。 dest_path 是 String 训练作业的本地路径。 read_only 否 Boolean dest_path 是否为只读权限,默认为读写权限。
user_image_url="sdk-test/pytorch1_4:1.0.1", # 自定义镜像地址 user_command="/home/ma-user/anaconda3/envs/PyTorch-1
企业项目 创建开发环境实例 POST /v1/{project_id}/notebooks modelarts:notebook:create ecs:serverKeypairs:create swr:repository:getNamespace swr:repository:listNamespace
30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 { "model_type":
参数类型 说明 id 是 String SFS Turbo 文件系统 ID。 src_path 是 String SFS Turbo 文件系统地址。 dest_path 是 String 训练作业的本地路径。 read_only 否 Boolean dest_path 是否为只读权限,默认为读写权限。
建数据处理”页面。 在创建数据处理页面,填写相关算法参数。 填写基本信息。基本信息包括“名称”、“版本”和“描述”。其中“版本”信息由系统自动生成,按“V0001”、“V0002”规则命名,用户无法修改。 您可以根据实际情况填写“名称”和“描述”信息。 设置场景类别。场景类别当前支持“图像分类”和“物体检测”。
当资源规格为单机多卡时,需要指定超参world_size和rank。 当资源规格为多机时(即实例数大于 1),无需设置超参world_size和rank,超参会由平台自动注入。 方式二:使用自定义镜像功能,通过torch.distributed.launch命令启动训练作业。 创建训练作业的关键参数如表2所示。
ts.6786。更新密钥对具体操作请参见修改Notebook SSH远程连接配置。具体的错误信息提示:ModelArts.6789: 在ECS密钥对管理中找不到指定的ssh密钥对xxx,请更新密钥对并重试。 父主题: 管理Notebook实例
# 训练使用的算法对象,示例中使用AIGallery订阅的算法;部分算法超参的值如果无需修改,则在parameters字段中可以不填写,系统自动填充相关超参值 inputs=wf.steps.JobInput(name="data_url", data=obs_data),
ts.6786。更新密钥对具体操作请参见修改Notebook SSH远程连接配置。具体的错误信息提示:ModelArts.6789: 在ECS密钥对管理中找不到指定的ssh密钥对xxx,请更新密钥对并重试。 父主题: 典型场景配置实践
鼠标移动至节点名称上,复制需要退订的实例ID。 图3 复制实例ID Server购买订单里绑定的资源ID为Server ID,与Server产品所封装的BMS/ECS ID不同,若要退订Server,需要在ModelArts控制台的“资源管理 > AI专属资源池 > 弹性节点Server”中查询对应ID。
桶(存放代码)”,采用分布式训练。 表1 不同场景所需服务及购买推荐 场景 OBS SFS SWR DEW ModelArts VPC ECS EVS 单机单卡 按需购买。(并行文件系统) × 免费。 免费。 包月购买。 免费。 × 按需购买。 单机多卡 × 包月购买。 (HPC型500G)
json,并复制到NPU节点的容器内,将NPU设备训练输出的trainer_state.json文件重命名为trainer_state_npu.json。 对其进行解析就可以获取loss信息,这里可以使用如下脚本进行loss曲线的绘制。 # compare_metric.py import json import
SFS Turbo的存储加速实践。 表1 不同场景所需服务及购买推荐 场景 OBS SFS SWR DEW ModelArts VPC ECS EVS 单机单卡 按需购买(并行文件系统) × 免费 免费 包月购买 免费 × 按需购买 单机多卡 × 包月购买 (HPC型500G) 免费
如何删除预置镜像中不需要的工具 预置的基础镜像中存在cpp、gcc等调试/编译工具,如果您不需要使用这些工具,可以通过运行脚本删除。 创建一个run.sh脚本文件,文件中的代码内容如下。然后在容器中执行sh run.sh命令运行脚本。 #!/bin/bash delete_sniff_compiler()
“inference”。 “数据特征指标”:在右侧下拉框中勾选需要展示的指标。详细指标说明请参见支持分析指标及其说明。 选择完成后,页面将自动呈现您选择对应版本及其指标数据,您可以根据呈现的图表了解数据分布情况,帮助您更好的处理您的数据。 查看分析任务的历史记录。 在数据特征分析
llava-1.5-7b 1 16 1 32 51 llava-1.5-13b 1 8 1 16 52 llava-v1.6-7b 1 16 1 32 53 llava-v1.6-13b 1 8 1 16 54 llava-v1.6-34b 4 32 2 64 55 internvl2-8b 2
llava-1.5-7b 1 16 1 32 51 llava-1.5-13b 1 8 1 16 52 llava-v1.6-7b 1 16 1 32 53 llava-v1.6-13b 1 8 1 16 54 llava-v1.6-34b 4 32 2 64 55 internvl2-8b 2
llava-1.5-7b 1 16 1 32 51 llava-1.5-13b 1 8 1 16 52 llava-v1.6-7b 1 16 1 32 53 llava-v1.6-13b 1 8 1 16 54 llava-v1.6-34b 4 32 2 64 55 internvl2-8b 2