-
Data - AI开发平台ModelArts
有效输出作为数据输入,常用于存在条件分支的场景中(在构建工作流时未能确定数据输入来源为哪个依赖节点的输出,需根据依赖节点的实际执行情况进行自动选择) 表1 Dataset 属性 描述 是否必填 数据类型 dataset_name 数据集名称 是 str version_name 数据集版本名称
-
构造请求 - AI开发平台ModelArts
test.com or code.test.com:443 API同时支持使用AK/SK认证,AK/SK认证是使用SDK对请求进行签名,签名过程会自动往请求中添加Authorization(签名认证信息)和X-Sdk-Date(请求发送的时间)请求头。AK/SK认证的详细说明请参见API签名指南。
-
基于训练作业启动PyTorch DDP训练示例 - AI开发平台ModelArts
当资源规格为单机多卡时,需要指定超参world_size和rank。 当资源规格为多机时(即计算节点个数大于 1),无需设置超参world_size和rank,超参会由平台自动注入。 方式二:使用自定义镜像功能,通过torch.distributed.launch命令启动训练作业。 创建训练作业的关键参数如表2所示。
-
发布免费模型 - AI开发平台ModelArts
修改封面图和二级标题 在发布的资产详情页面,单击右侧的“编辑”,选择上传新的封面图,为资产编辑独特的主副标题。 编辑完成之后单击“保存”。封面图和二级标题内容自动同步,您可以直接在资产详情页查看修改结果。 图1 修改封面图和二级标题 编辑标签 单击标签右侧的出现标签编辑框,在下拉框中勾选该资产对应的标签。
-
使用SDK调测多机分布式训练作业 - AI开发平台ModelArts
thon环境来执行训练任务,如果未指定,会默认使用当前的kernel。 log_url:可选参数,一个OBS地址,本地训练过程中,SDK会自动将训练的日志上传到该位置;但是如果训练任务运行在Ascend上,则是必选参数。 job_description:可选参数,训练任务的描述。
-
发布数据 - AI开发平台ModelArts
修改封面图和二级标题 在发布的资产详情页面,单击右侧的“编辑”,选择上传新的封面图,为资产编辑独特的主副标题。 编辑完成之后单击“保存”。封面图和二级标题内容自动同步,您可以直接在资产详情页查看修改结果。 图3 修改封面图和二级标题 编辑许可证类型 在发布的资产详情页面,单击右侧的“编辑”。 在许可
-
在Lite资源池上使用ranktable路由规划完成Pytorch NPU分布式训练 - AI开发平台ModelArts
restartPolicy: OnFailure 执行如下命令,根据“config.yaml”创建并启动pod。容器启动后会自动执行训练作业。 kubectl apply -f config.yaml 执行如下命令,检查pod启动情况。如果显示“1/1 running”状态代表启动成功。
-
在Notebook调试环境中部署推理服务 - AI开发平台ModelArts
905-xxx.zip代码包。 unzip AscendCloud-3rdLLM-6.3.905-*.zip 运行推理构建脚本build.sh文件,自动获取ascend_vllm_adapter文件夹中提供的vLLM相关算子代码。 cd llm_inference bash build.sh
-
创建标注作业 - AI开发平台ModelArts
音频(声音分类、语音内容、语音分割) 文本(文本分类、命名实体、文本三元组) 视频 参数填写无误后,单击页面右下角“创建”。 标注作业创建完成后,系统自动跳转至数据标注管理页面,针对创建好的标注作业,您可以执行智能标注、发布、修改和删除等操作。 图片(图像分类、物体检测、图像分割) 图3 图像分类和物体检测类型的参数
-
编写Workflow - AI开发平台ModelArts
20:0.0001代表0-10个epoch学习率0.001,10-20epoch学习率0.0001),如果不指定epoch, 会根据验证精度情况自动调整学习率,并当精度没有明显提升时,训练停止")), wf.AlgorithmParameters(name="batch_size"
-
查询训练作业版本列表 - AI开发平台ModelArts
total_metric_values属性列表 参数 参数类型 说明 f1_score Float 训练作业模型总召回。仅限部分预置算法使用,会自动生成,仅供参考。 recall Float 训练作业模型总召回率。 precision Float 训练作业模型总精确率。 accuracy
-
OBS目录导入数据规范说明 - AI开发平台ModelArts
3.wav 表格 支持从OBS导入csv文件,需要选择文件所在目录,其中csv文件的列数需要跟数据集schema一致。支持自动获取csv文件的schema。 ├─dataset-import-example │ table_import_1.csv │
-
模型适配 - AI开发平台ModelArts
77] precision_mode=enforce_fp32 对于本次AIGC迁移,为了方便对多个模型进行转换,可以通过批量模型转换脚本自动完成所有模型的转换。 执行以下命令创建并进入static_shape_convert目录。 mkdir -p /home_host/wor
-
使用ModelArts Standard自定义算法实现手写数字识别 - AI开发平台ModelArts
其他参数保持默认即可。 本样例代码为单机单卡场景,选择GPU多卡规格会导致训练失败。 单击“提交”,确认训练作业的参数信息,确认无误后单击“确定”。 页面自动返回“训练作业”列表页,当训练作业状态变为“已完成”时,即完成了模型训练过程。 本案例的训练作业预计运行十分钟。 单击训练作业名称,进入作
-
部署在线服务 - AI开发平台ModelArts
Service,并且提供在线的测试UI与监控能力,服务一直保持运行。 batch为批量服务,批量服务可对批量数据进行推理,完成数据处理后自动停止。 edge表示边缘服务,通过华为云智能边缘平台,在边缘节点将模型部署为一个Web Service,需提前在IEF(智能边缘服务)创建好节点。
-
开发环境的应用示例 - AI开发平台ModelArts
其中,加粗的字段需要根据实际值填写: “duration”为实例运行时长,以创建时间为起点计算,即“创建时间+duration > 当前时刻”时,系统会自动停止实例。 “type”为自定停止类别,默认为timing。 返回状态码为“200”表示标注成功,响应Body如下所示: { "create_at":