检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是vllm。 --host ${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口8080。 --tokenizer：tokenizer路径，HuggingFace的权重路径。 --epochs：测试轮数，默认取值为5
训练作业如何调用shell脚本，是否可以执行.sh文件？ 训练代码中，如何获取依赖文件所在的路径？ 自定义python包中如果引用model目录下的文件，文件路径怎么写 父主题： Standard训练作业
置为128。 --host=${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：服务部署的端口。 --gpu-memory-utilization：NPU使用的显存比例，复用原vLLM的入参名称，默认为0.9。 --tru
查询数据集详情 功能介绍 查询数据集详情。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datasets/{dataset_id}
}/ComfyUI python main.py --port ${port} --force-fp16 --listen ${container_ip_address} 参数说明： port：为启动镜像时映射port container_ip_address：为容器IP，如上图的172
=0,1 通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡，如果希望使用第一和第二张卡，则“export ASCEND_RT_VISIBLE_DEVICES=0,1”，注意编号不是填4、5。 图2 查询结果 配置环境变量。 export DEFER_DECODE=1
=0,1 通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡，如果希望使用第一和第二张卡，则“export ASCEND_RT_VISIBLE_DEVICES=0,1”，注意编号不是填4、5。 图1 查询结果 配置环境变量。 export DEFER_DECODE=1
购买的所有类型的计算资源均不支持跨Region使用。 计算资源 套餐包 套餐包仅用于公共资源池，不能用于专属资源池。 配额限制 查看每个配额项目支持的默认配额，请参考怎样查看我的配额？，登录控制台查询您的配额详情。 表2 配额 资源类型 默认配额限制 是否支持调整 说明 Standard Notebook
查询Workflow待办事项 功能介绍 获取Workflow待办列表。 接口约束 无 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project
查询训练作业指定任务的日志（OBS链接） 功能介绍 查询训练作业指定任务的日志（OBS临时链接，有效期5分钟），可全量查看或直接下载。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
=0,1 通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡，如果希望使用第一和第二张卡，则“export ASCEND_RT_VISIBLE_DEVICES=0,1”，注意编号不是填4、5。 图2 查询结果 配置环境变量。 export USE
表2 查询检索参数说明 参数 是否为必选 参数类型 说明 job_type 否 String 指定作业的类型，可选的有“train”和“inference”。查询自动学习资源规格无需此参数。 engine_id 否 Long 指定作业的引擎ID，默认为“0”。查询自动学习资源规格无需此参数。
=0,1 通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡，若希望使用第一和第二张卡，则“export ASCEND_RT_VISIBLE_DEVICES=0,1”，注意编号不是填4、5。 图1 查询结果 配置环境变量。 export USE_
=0,1 通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡，如果希望使用第一和第二张卡，则“export ASCEND_RT_VISIBLE_DEVICES=0,1”，注意编号不是填4、5。 图1 查询结果 配置环境变量。 export USE
查询训练作业版本详情 功能介绍 根据作业ID查看指定的训练作业详情。 URI GET /v1/{project_id}/training-jobs/{job_id}/versions/{version_id} 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id
tensor-parallel-size：并行卡数。 --hostname：服务部署的IP，使用本机IP 0.0.0.0。 --port：服务部署的端口8080。 --max-model-len：最大数据输入+输出长度，不能超过模型配置文件config.json里面定义的“max
--tensor-parallel-size：并行卡数。 --hostname：服务部署的IP，使用本机IP 0.0.0.0。 --port：服务部署的端口8080。 --max-model-len：最大数据输入+输出长度，不能超过模型配置文件config.json里面定义的“max
=0,1 通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡，如果希望使用第一和第二张卡，则“export ASCEND_RT_VISIBLE_DEVICES=0,1”，注意编号不是填4、5。 图2 查询结果 配置环境变量。 export DEFER_DECODE=1
再新建实例。 镜像下线后是否可以继续基于该镜像新建实例？ 镜像下线后无法使用该镜像新建实例，界面不会呈现了。 镜像下线后用户还想继续使用，怎么办？ 如果想长期使用该镜像，建议用户在镜像下线前保存自定义镜像使用，镜像下线后不会影响自定义镜像使用。 父主题： 下线公告
host：与起服务的host保持一致，比如起服务为0.0.0.0，host设置也为0.0.0.0。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_len：在运行类似mmlu、ceval等判别式回答时，max_out_len建议设置
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
