检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在线服务鉴权 计费工作流在线主服务鉴权。 创建在线服务包 计费工作流购买资源。 表2 WorkflowExecution API 说明 获取Execution列表 查询Workflow下的执行记录列表。 新建Workflow执行 创建工作流执行。
微调大师：“训练中” AI应用：“运行中” 在线推理服务：“运行中” 计费规则 资源整点扣费，按需计费。 计费的最小单位为秒，话单上报后的每一小时对用户账号进行一次扣费。
存储支持在线按需扩容。 图2 自定义存储配置 使用Notebook将OBS数据导入云硬盘EVS 打开已创建的Notebook实例，选择Notebook的python-3.9.10，即可编辑Untitled.ipynb文件。
在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.905）
亮点特性4：提供在线的交互式开发调试工具JupyterLab ModelArts集成了基于开源的JupyterLab，可为您提供在线的交互式开发调试。
数据标注中，难例集如何定义？什么情况下会被识别为难例？ 难例是指难以识别的样本，目前只有图像分类和检测支持难例。 父主题： Standard数据管理
部署上线：模型部署为在线服务、边缘服务时，会收取费用，使用完请及时停止服务。同时，也需清理存储到OBS中的数据。
图1 进入“我的订阅” 在展开的版本列表中，单击“部署 > 在线服务”跳转至部署页面。 图2 部署模型 如果您选择部署的是商用模型，则选择服务类型后会弹出“修改配额”窗口，根据需要选择配额后单击“确定”即可跳转至“部署”页面。
部署上线：模型部署为在线服务、边缘服务时，会收取费用，使用完请及时停止服务。同时，也需清理存储到OBS中的数据。
表2 Query参数 参数 是否必选 参数类型 描述 update_time 否 Number 待过滤的更新时间，查询在线服务更新日志可使用，可准确过滤出某次更新任务；默认不过滤。
在线上，模型文件从OBS下载到/home/mind/model目录之后，文件owner将统一修改为ma-user。 在本地机器上启动另一个终端，执行以下验证指令，得到符合预期的推理结果。
ModelArts支持部分场景下在线服务进行无损滚动升级。按要求进行升级前准备，做好验证，即可实现业务不中断的无损升级。
AI推理应用运行在昇腾设备上一般有两种方式： 方式1：通过Ascend PyTorch，后端执行推理，又称在线推理。 方式2：通过模型静态转换后，执行推理，又称离线推理。 通常为了获取更好的推理性能，推荐使用方式2的离线推理。
samples Array of SampleLabels objects 视频在线服务推理结果。 service_id String 在线服务ID。 service_name String 在线服务名称。
在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）
CONVERT_MG2HF True 表示训练完成的权重文件会自动转换为Hugging Face格式权重。若不需要自动转换，则删除该环境变量。
通过CES云监控可以查看ModelArts的在线服务和对应模型负载运行状态的整体情况，并设置监控告警。 CES FullAccess 可选 SMN消息服务 授予子账号使用SMN消息服务的权限。SMN消息通知服务配合CES监控告警功能一起使用。
部署上线 ModelArts将存储在OBS中的模型部署上线为在线服务。 Standard AI全流程开发 数据管理 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 开发环境 Notebook实例中的数据或代码文件可以存储在OBS中。
昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。
CONVERT_MG2HF True 表示训练完成的权重文件会自动转换为Hugging Face格式权重。若不需要自动转换，则删除该环境变量。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
