检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 --app-code：获取方式见访问在线服务（APP认证）。 --tokenizer：tokenizer路径，HuggingFace的权重路径。
将模型部署为实时推理作业 实时推理的部署及使用流程 部署模型为在线服务 访问在线服务支持的认证方式 访问在线服务支持的访问通道 访问在线服务支持的传输协议 父主题： 使用ModelArts Standard部署模型并推理预测
参考部署为在线服务将模型部署为在线服务。
参考部署为在线服务将模型部署为在线服务。
如果自定义模型的模型文件不符合gallery_inference文件列表要求或文件内容为空，都将不能正常部署在线推理服务。
如果使用自定义镜像进行部署推理服务，操作步骤可以参考使用AI Gallery在线推理服务部署模型，其中“推理任务类型”默认选择“自定义”，且不支持修改。
在线服务：用户将模型部署为在线服务后，可以通过监控功能查看CPU、内存、GPU等资源使用统计信息和模型调用次数统计，具体参见查看服务详情章节。 父主题： ModelArts Standard资源监控
将模型部署为实时推理作业 将模型部署为一个Web Service，并且提供在线的测试UI与监控功能，部署成功的在线服务，将为用户提供一个可调用的API。 将模型部署为批量推理服务 批量服务可对批量数据进行推理，完成数据处理后自动停止。
查询AppKey和AppSecret，使用APP认证访问在线服务，请参考访问在线服务（APP认证）。 父主题： 服务预测
如何修改默认端口号，请参考使用自定义镜像创建在线服务，如何修改默认端口。 父主题： 服务部署
在服务部署节点单击“实例详情”直接跳转进入在线服务详情页，或者在ModelArts管理控制台，选择“模型部署 > 在线服务”，单击生成的在线服务名称，即可进入在线服务详情页。 在服务详情页，选择“预测”页签。
按照存储费用结算，那么运行这个在线服务的费用计算过程如下： 存储费用：训练的数据通过对象存储服务（OBS）上传或导出，存储计费按照OBS的计费规则。 综上，在线服务的运行费用 = 存储费用 父主题： 计费项
在“在线服务”列表中，停止因运行自动学习作业而创建的服务。操作完成后，ModelArts服务即停止计费。 登录OBS控制台，进入自己创建的OBS桶中，删除存储在OBS中的数据。操作完成后，OBS服务即停止计费。
人工标注图片数据 由于模型训练过程需要大量有标签的图片数据，因此在模型训练之前需对没有标签的图片添加标签。您可以通过手工标注或智能一键标注的方式添加标签，快速完成对图片的标注操作，也可以对已标注图片修改或删除标签进行重新标注。 针对图像分类场景，开始标注前，您需要了解： 图片标注支持多标签
文生图模型训练推理 FlUX.1基于DevServer适配PyTorch NPU推理指导（6.3.912） FLUX.1基于DevSever适配PyTorch NPU Finetune&Lora训练指导（6.3.911） Hunyuan-DiT基于DevServer部署适配PyTorch
昇腾能力应用地图 ModelArts支持如下开源模型昇腾NPU进行训练和推理。 LLM大语言模型 ModelArts针对以下主流的LLM大模型进行了基于昇腾NPU的适配工作，可以直接使用适配过的模型在NPU上进行推理训练。 表1 LLM模型推理能力 支持模型 支持模型参数量 应用场景
此时在运行态通过开关的方式来控制部署/更新服务，如下图所示： 在线服务开关默认关闭，节点走部署服务的流程；如果需要更新服务，则手动打开开关，选择相应的在线服务即可。
模型部署步骤将使用预测模型发布在线预测服务。 操作步骤 在新版自动学习页面，单击创建成功的项目名称，查看当前工作流的执行情况。 在“预测分析”节点中，待节点状态由“运行中”变为“运行成功”，即完成了模型的自动训练。
当选择收费CPU资源部署在线服务时会收取少量资源费用，具体费用以界面信息为准。 参数配置完成后，单击“下一步”，确认规格参数后，单击“提交”启动在线服务的部署。 进入“部署上线 > 在线服务”页面，等待服务状态变为“运行中”时，表示服务部署成功。
查看在线服务的账单 ModelArts在线服务查询资源账单首先需要获取资源名称，而ModelArts控制台展示的在线服务名称与账单中上报的资源名称不一致，您需要先了解资源名称的查询方法，以及资源名称与账单中上报的资源名称二者的对应关系。详细操作如下所述： 获取资源名称。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
