检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在版本列表单击“部署”，可以将订阅的ModelArts模型部署为“在线服务”、“批量服务”或“边缘服务”，详细操作步骤请参见部署服务。
您可以通过链接下载ATC模型转换工具，按照指导，在线下转换成.om格式模型。 ModelArts中是否还会增加模型转换的能力？ ModelArts开发环境中在贵阳一Region，支持将ONNX或PyTorch模型转换到.mindir格式。其它能力在持续增加中。
迁移环境准备 迁移环境准备有以下两种方式： 表1 方式说明 序号 名称 说明 方式一 ModelArts Notebook 该环境为在线调试环境，主要面向演示、体验和快速原型调试场景。 优点：可快速、低成本地搭建环境，使用标准化容器镜像，官方Notebook示例可直接运行。
更新管理 ModelArts在线服务更新 对于已部署的推理服务，ModelArts支持通过更换模型的版本号，实现服务升级。 推理服务有三种升级模式：全量升级、滚动升级（扩实例）和滚动升级（缩实例）。了解三种升级模式的流程，请参见图1。
若要在生产环境中进行精度测试，还需修改benchmark_eval/config/config.json中app_code，app_code获取方式见访问在线服务（APP认证）。
“部署类型” 选择此模型支持部署服务的类型，部署上线时只支持部署为此处选择的部署类型，例如此处只选择在线服务，那您导入后只能部署为在线服务。当前支持“在线服务”、“批量服务”和“边缘服务”。 “启动命令” 选填参数，指定模型的启动命令，您可以自定义该命令。
支持通过JupyterLab工具在线打开Notebook，具体请参见通过JupyterLab在线使用Notebook实例进行AI开发。 支持本地IDE的方式开发模型，通过开启SSH连接，用户本地IDE可以远程连接到ModelArts的Notebook开发环境中，调试和运行代码。
ModelArts Standard数据管理支持多维度数据管理能力 数据集管理：提供数据集创建、数据预览、数据集版本管理等能力 数据标注：提供在线标注能力，包含图像分类、目标检测、音频分割、文本三元组等标注场景；提供图片智能标注方案，提升标注效率；提供团队标注能力，支持多人协同标注与标注任务的审核验收
支持在线推理、批量推理、边缘推理多形态部署。 AI工程化能力，支持AI全流程生命周期管理 支持MLOps能力，提供数据诊断、模型监测等分析能力，训练智能日志分析与诊断。 容错能力强，故障恢复快 提供机柜、节点、加速卡、任务多场景故障感知和检测。
当托管的是自定义镜像时，填写的内容要满足自定义镜像规范，否则该镜像无法正常使用AI Gallery工具链服务（微调大师和在线推理服务）。 说明： 建议写清楚模型的使用方法，方便使用者更好的完成训练、推理任务。
您可以单击代码目录后的“编辑代码”，在“OBS在线编辑”对话框中实时编辑训练脚本代码。当训练作业状态为“等待中”、“创建中”和“运行中”时，不支持“OBS在线编辑”功能。 说明： 当您使用订阅算法创建训练作业时，不支持该参数。 “启动文件” 训练作业启动文件位置。
步骤三：启动量化服务 参考启动在线推理服务，在启动服务时添加如下命令。 -q awq 或者--quantization awq 父主题： 量化
请求示例 请求示例，创建在线服务。
操作步骤如下： 注册镜像。登录ModelArts控制台，在左侧导航栏选择“镜像管理”，进入镜像管理页面。单击“注册镜像”，镜像源即为推送到SWR中的镜像。请将完整的SWR地址复制到这里即可，或单击可直接从SWR选择自有镜像进行注册，类型加上“GPU”，如图1所示。
构建零门槛线上模型体验，零基础开发者开箱即用，初学者三行代码使用所有模型 通过AI Gallery的模型在线模型体验，可以实现模型服务的即时可用性，开发者无需经历繁琐的环境配置步骤，即可直观感受模型效果，快速尝鲜大模型，真正达到“即时接入，即时体验”的效果。
--url：API接口公网地址与"/v1/completions"拼接而成，部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 --app-code：获取方式见访问在线服务（APP认证）。
在线服务鉴权 计费工作流在线主服务鉴权。 创建在线服务包 计费工作流购买资源。 表2 WorkflowExecution API 说明 获取Execution列表 查询Workflow下的执行记录列表。 新建Workflow执行 创建工作流执行。
如果Push成功，请重新注册镜像。 如果未Push成功，联系SRE查看对应实例的节点是否有问题。 父主题： 自定义镜像故障
进入ModelArts控制台，单击“镜像管理 > 注册镜像”，进入“注册镜像”页面。 根据界面提示填写相关信息，然后单击“立即注册”。 “镜像源”选择构建好的镜像。可直接复制完整的SWR地址，或单击选择SWR构建好的镜像进行注册。
在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.905）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
