检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
格式要求为Huggingface格式。开源权重文件获取地址请参见支持的模型列表和权重文件。 如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 Step2 配置pod 在节点自定义目录${node_path}下创建config
格式要求为Huggingface格式。开源权重文件获取地址请参见支持的模型列表和权重文件。 如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 Step2 配置pod 在节点自定义目录${node_path}下创建config
0：完成验收时，通过全部样本（包括单张驳回）。 1：完成验收时，驳回全部样本（包括单张通过）。 4：完成验收时, 只通过单张验收通过的样本及未处理的样本。 5：完成验收时, 只驳回单张验收驳回的样本及未处理的样本。 checking_stats CheckTaskStats object 验收任务实时验收报告。
像构建模板、Dockerfile镜像构建、查询/清理镜像构建缓存、注册/取消注册镜像、调试镜像是否可以在Notebook中使用等。具体命令及功能可执行ma-cli image -h命令查看。 镜像构建命令总览 $ ma-cli image -h Usage: ma-cli image
目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 --name ${contai
创建开发环境实例 功能介绍 创建开发环境实例，用于代码开发。 该接口为异步操作，创建开发环境实例的状态请通过查询开发环境实例详情接口获取。 URI POST /v1/{project_id}/demanager/instances 参数说明如表1所示。 表1 参数说明 参数 是否必选
Integer 验收行为。可选值如下： 0：通过全部样本 1：驳回全部样本 2：取消验收 3：查看验收冲突的样本列表 4：只通过单张验收通过的样本及未验收的样本 5：只通过单张验收通过的样本 overwrite_last_result 否 Boolean 是否覆盖已标注数据。可选值如下：
dir模型按照相同的逻辑进行编排，并在MindSpore Lite上执行。只需要将原始onnx的pipeline中涉及到onnx模型初始化及推理的接口替换为MindSpore Lite的接口即可。 MindSpore Lite提供了Python、C++以及JAVA三种应用开发接口
objects 训练在子任务状态信息。 running_records Array of RunningRecord objects 训练作业运行及故障恢复记录。 表5 TaskStatuses 参数 参数类型 描述 task String 训练作业子任务名称。 exit_code Integer
objects 训练在子任务状态信息。 running_records Array of RunningRecord objects 训练作业运行及故障恢复记录。 表6 TaskStatuses 参数 参数类型 描述 task String 训练作业子任务名称。 exit_code Integer
查询开发环境实例详情 功能介绍 该接口用于查询开发环境实例详情。 URI GET /v1/{project_id}/demanager/instances/{instance_id} 参数说明如表1所示 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String
ace格式。开源权重文件获取地址请参见表3。 如果使用模型训练后的权重文件进行推理，需要上传训练后的权重文件和开源的原始权重文件。模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 Step4 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。
0：完成验收时，通过全部样本（包括单张驳回）。 1：完成验收时，驳回全部样本（包括单张通过）。 4：完成验收时, 只通过单张验收通过的样本及未处理的样本。 5：完成验收时, 只驳回单张验收驳回的样本及未处理的样本。 checking_stats CheckTaskStats object 验收任务实时验收报告。
如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 权重要求放在磁盘的指定目录，并做目录大小检查，参考命令如下： df -h Step4 制作推理镜像 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6
更新开发环境实例信息 功能介绍 该接口用于更新开发环境实例的描述信息或自动停止信息。 URI PUT /v1/{project_id}/demanager/instances/{instance_id} 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id
CarbonData：Carbon格式（仅表格数据集支持） data_sources 是 Array of DataSource objects 数据集输入位置，用于将此目录及子目录下的源数据(如图片/文件/音频等)同步到数据集。对于表格数据集，该参数为导入目录。表格数据集的工作目录不支持为KMS加密桶下的OBS路
查询开发环境实例列表 功能介绍 该接口用于查询开发环境实例列表，用户可按需查询满足条件的开发环境实例列表。 URI GET /v1/{project_id}/demanager/instances?de_type={de_type}&provision_type={provisi
查询训练作业详情 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一：根据指定的job_id查询。 from modelarts.session import Session from
终止训练作业 终止训练作业，只可终止创建中、等待中、运行中的作业。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一：根据指定的job_id终止。 from modelarts
功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 如果需要部署量化模型，请参考推理模型量
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
