检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务，用于推理调用。 在ModelArts控制台，单击“模型部署 > 在线服务 > 部署”，开始部署在线服务。 设置部署服务名称，选择Step2 部署模型中创建的AI应用。
SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 SN 1200 必须修改。指定的输入数据集中数据的总数量。更换数据集时，需要修改。 EPOCH 5 表示训练轮次，根据实际需要修改。
SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 SN 1200 必须修改。指定的输入数据集中数据的总数量。更换数据集时，需要修改。 EPOCH 5 表示训练轮次，根据实际需要修改。
规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推 表1 模型NPU卡数取值表 支持模型 支持模型参数量 文本序列长度 训练类型 Zero并行 规格与节点数 llama3 70B cutoff_len=4096 lora per_device_train_batch_size
SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 SN 1200 必须修改。指定的输入数据集中数据的总数量。更换数据集时，需要修改。 EPOCH 5 表示训练轮次，根据实际需要修改。
关于configs如何生成，请参见部署在线服务。 更新服务配置时，存在以下约束： 参数status指定的目标状态不允许和当前服务状态相同。
方式1：根据部署在线服务生成的服务对象进行查询服务日志 1 2 3 4 5 6 7 from modelarts.session import Session from modelarts.model import Predictor session = Session() predictor_instance
模型部署步骤将使用预测模型发布在线预测服务。 操作步骤 在新版自动学习页面，单击创建成功的项目名称，查看当前工作流的执行情况。 在“预测分析”节点中，待节点状态由“运行中”变为“运行成功”，即完成了模型的自动训练。
方式1：根据部署在线服务生成的服务对象进行服务详情查询 1 2 3 4 5 6 7 from modelarts.session import Session from modelarts.model import Predictor session = Session() predictor_instance
方式1：根据部署在线服务生成的服务对象进行查询服务监控 1 2 3 4 5 6 7 from modelarts.session import Session from modelarts.model import Predictor session = Session() predictor_instance
不同模型推理支持的max-model-len长度不同，具体差异请参见附录：基于vLLM不同模型推理支持最小卡数和最大序列说明。
标注多个标签进行训练而成的模型，最后部署成在线服务之后也是对标注的多个标签去进行识别的。如果只需要快速识别一种标签，建议单独训练识别此标签的模型使用，并选择较大的部署上线的规格也可以提供识别速度。 父主题： 一般性问题
ModelArts SDK下载文件目标路径设置为文件名，部署服务时报错 问题现象 ModelArts SDK在OBS下载文件时，目标路径设置为文件名，在本地IDE运行不报错，部署为在线服务时报错。
ModelArts Standard推理部署 表4 推理部署列表 样例 对应功能 场景 说明 基于ModelArts Standard一键完成商超商品识别模型部署 在线服务 物体检测 此案例以“商超商品识别”模型为例，完成从AI Gallery订阅模型，到ModelArts一键部署为在线服务的免费体验过程
ModelArts SDK不支持在训练作业和在线服务中使用。 ModelArts SDK已经集成在ModelArts开发环境Notebook中，可以直接使用，无需进行Session鉴权。
数据标注时若标注多个标签进行训练而成的模型，最后部署成在线服务之后也是对标注的多个标签去进行识别的。如果只需要快速识别一种标签，建议单独训练识别此标签的模型使用，并选择较大的部署上线的规格也可以提供识别速度。 父主题： Standard数据管理
不同模型推理支持的max-model-len长度不同，具体差异请参见附录：基于vLLM不同模型推理支持最小卡数和最大序列说明。
删除资源标签 功能介绍 删除服务（目前只支持在线服务）的标签，支持批量删除。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
请求示例 请求示例，创建在线服务。
部署类型： 在线服务。 请求模式：同步请求。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
