检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在线服务鉴权 功能介绍 计费工作流在线服务鉴权。 接口约束 无 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/workflows/service/auth
推理服务部署 准备推理环境 启动推理服务 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导（6.3.912）
基本功能不可用。相关高危命令如：apt-get upgrade。 高 如果需要升级/修改，请联系华为云技术支持。 切换或者重置操作系统。 服务器在进行过“切换或者重置操作系统”操作后，EVS系统盘ID发生变化，和下单时订单中的EVS ID已经不一致， 因此EVS系统盘将不支持扩容
数据源所在路径。 data_type 否 Integer 数据类型。可选值如下： 0：OBS桶（默认值） 1：GaussDB(DWS)服务 2：DLI服务 3：RDS服务 4：MRS服务 5：AI Gallery 6：推理服务 schema_maps 否 Array of SchemaMap objects
添加资源标签 功能介绍 给指定服务添加标签（目前只支持在线服务），当添加的标签key已存在，则覆盖该标签的value。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI
删除资源标签 功能介绍 删除服务（目前只支持在线服务）的标签，支持批量删除。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v1/{project_
指标 ModelArts会定期收集资源池中各节点的关键资源（GPU、NPU、CPU、Memory等）的使用情况以及开发环境、训练作业、推理服务的关键资源的使用情况，并上报到AOM，用户可直接在AOM上查看。 登录AOM控制台查看监控指标 登录控制台，搜索AOM，进入“应用运维管理”控制台。
模型管理 模型调试 导入模型 查询模型列表 查询模型对象列表 查询模型详情 删除模型
参数说明 --backend：服务类型，支持tgi、vllm、mindspore、openai等后端。本文档使用的推理接口是openai。 --host：服务部署的IP，${docker_ip}替换为宿主机实 际的IP地址。 --port：推理服务端口。 --tokenizer：
USE_OPENAI：仅在服务入口实例生效，用于配置api-server服务是否使用openai服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下： --host：服务部署的IP --port：服务部署的端口，注意如果不
benchmark_serving.csv --backend：服务类型，如tgi，vllm，mindspore、openai。 --host ${docker_ip}：服务部署的IP地址，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口。 --dataset：数据集路径。
管理同步在线服务 查看在线服务详情 查看在线服务的事件 管理在线服务生命周期 修改在线服务配置 在云监控平台查看在线服务性能指标 集成在线服务API至生产环境中应用 设置在线服务故障自动重启 父主题： 使用ModelArts Standard部署模型并推理预测
benchmark_parallel.csv 参数说明 --backend：服务类型，支持tgi、vllm、mindspore、openai等。本文档使用的推理接口是vllm。 --host：服务部署的IP。 --port：推理服务端口8080。 --tokenizer：tokenizer路径，HuggingFace的权重路径。
管理我的服务 扩缩容模型服务实例数 修改模型服务QPS 升级模型服务
4096, "allocatable_gpus" : 0.5 } ] } 状态码 状态码 描述 200 服务部署规格列表。 错误码 请参见错误码。 父主题： 服务管理
服务管理权限 表1 服务管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 部署模型服务 POST /v1/{project_id}/services modelarts:service:create - √ √ 查询模型服务列表 GET /v1/
Standard推理服务访问公网方案 本章节提供了推理服务访问公网的方法。 应用场景 推理服务访问公网地址的场景，如： 输入图片，先进行公网OCR服务调用，然后进行NLP处理； 进行公网文件下载，然后进行分析； 分析结果回调给公网服务终端。 方案设计 从推理服务的算法实例内部，访问公网服务地址的方案。如下图所示：
ue 将yaml文件中的per_device_train_batch_size调小，重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级，可参考模型NPU卡数、梯度累积值取值表，如原使用Accelerator可替换为Deepspeed-ZeRO-1，Dee
attention算子（性能较优）或者使用小算子。 训练脚本 由算法迁移人员排查迁移后的NPU脚本是否存在问题，可以通过Beyond Compare工具比对GPU训练脚本和NPU训练脚本之间是否存在差异。例如是否GPU环境下开启了FA但是NPU上未开启FA。 三方库版本比对 大模型训练通常
专属资源池创建训练作业 创建训练作业界面无云存储名称和挂载路径排查思路 父主题： 训练作业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
