检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
steps.JobStep( name="training_job", # 训练节点的名称，命名规范(只能包含英文字母、数字、下划线（_）、中划线（-），并且只能以英文字母开头，长度限制为64字符)，一个Workflow里的两个step名称不能重复 title="图像分类训练"
“代码目录” 训练作业代码目录所在的OBS路径。 您可以单击代码目录后的“编辑代码”，在“OBS在线编辑”对话框中实时编辑训练脚本代码。当训练作业状态为“等待中”、“创建中”和“运行中”时，不支持“OBS在线编辑”功能。 说明： 当您使用订阅算法创建训练作业时，不支持该参数。 “启动文件” 训练作业启动文件位置。
步骤二：权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
--url：API接口公网地址与"/v1/completions"拼接而成，部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 --app-code：获取方式见访问在线服务（APP认证）。 --tokenizer：tokenizer路径，HuggingF
导入的OBS路径或manifest路径。 导入manifest时，path必须精确到具体manifest文件。 导入为目录时，目前仅支持数据集类型为图片分类、物体检测、文本分类、声音分类。 import_samples 否 Boolean 是否导入样本。可选值如下： true：导入样本（默认值）
增加3条。 “部署类型” 选择此模型支持部署服务的类型，部署上线时只支持部署为此处选择的部署类型，例如此处只选择在线服务，那您导入后只能部署为在线服务。当前支持“在线服务”、“批量服务”和“边缘服务”。 “启动命令” 指定模型的启动命令，您可以自定义该命令。 说明： 包含字符$，|，>，<，`，
标签列是预测模型的输出。模型训练步骤将使用全部信息训练预测模型，该模型以其他列的数据为输入，以标签列的预测值为输出。模型部署步骤将使用预测模型发布在线预测服务。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明： “输出路径”是存储自动学习在运行过程中所有产物的路径。 “训练规格”
om格式的模型转换能力，在ModelArts中逐步增加.mindir格式的支持能力。 下线模型转换后是否有替代功能？ 您可以通过链接下载ATC模型转换工具，按照指导，在线下转换成.om格式模型。 ModelArts中是否还会增加模型转换的能力？ ModelArts开发环境中在贵阳一Region，支持将ONNX或PyTorch模型转换到
1:${port}/v1/completions"；若服务部署在生产环境中，该地址由API接口公网地址与"/v1/completions"拼接而成，部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 few_shot：开启少量样本测试后添加示例样本的个数。默认为3，取值范围为0~5整数。
配置信息。 “部署类型” 选择此模型支持部署服务的类型，部署上线时只支持部署为此处选择的部署类型，例如此处只选择在线服务，那您导入后只能部署为在线服务。当前支持“在线服务”、“批量服务”和“边缘服务”。 “启动命令” 选填参数，指定模型的启动命令，您可以自定义该命令。 如果使用预
解决方法：降低transformers版本到4.42：pip install transformers==4.42 --upgrade 问题6：部署在线服务报错starting container process caused "exec: \"/home/mind/model/run_vllm
是否查询专属资源池支持的服务部署规格列表，默认为false。 infer_type 否 String 推理方式，枚举值如下： real-time：在线服务，默认值 batch：批量服务 edge: 边缘服务 limit 否 String 指定每一页返回的最大条目数，默认为1000。 offset
统一管理AI开发全流程，提升开发效率，记录模型构建实验全流程。 多场景部署，灵活满足业务需求 支持云端/边端部署等多种生产环境。 支持在线推理、批量推理、边缘推理多形态部署。 AI工程化能力，支持AI全流程生命周期管理 支持MLOps能力，提供数据诊断、模型监测等分析能力，训练智能日志分析与诊断。
作业”页面，检查是否有“运行中”的训练作业。如果有，单击该作业列表右方操作下的“停止”即可停止计费。 进入“ModelArts>模型部署>在线服务”页面，检查是否有“运行中”的推理作业。如果有，单击该作业列表右方操作下的“停止”即可停止计费。 进入“ModelArts>模型部署>
请求Body参数 参数 是否必选 参数类型 描述 schedule 否 Array of Schedule objects 服务调度配置，仅在线服务可配置，默认不使用，服务长期运行。 description 否 String 服务描述，不超过100个字符，不能包含字符有!<>=&"'。不设置此参数表示不更新。
查项出现故障时，隔离故障硬件并重新下发训练作业。针对于分布式场景，容错检查会检查本次训练作业的全部计算节点。 推理部署故障恢复 用户部署的在线推理服务运行过程中，如发生硬件故障导致推理实例故障，ModelArts会自动检测到并迁移受影响实例到其它可用节点，实例启动后恢复推理请求处
助力开发者快速了解并学习大模型。 构建零门槛线上模型体验，零基础开发者开箱即用，初学者三行代码使用所有模型 通过AI Gallery的模型在线模型体验，可以实现模型服务的即时可用性，开发者无需经历繁琐的环境配置步骤，即可直观感受模型效果，快速尝鲜大模型，真正达到“即时接入，即时体验”的效果。
用于后续的训练或推理任务 plot_loss true 用于指定是否绘制损失曲线。如果设置为"true"，则在训练结束后，将损失曲线保存为图片 overwrite_output_dir true 是否覆盖输出目录。如果设置为"true"，则在每次训练开始时，都会清空输出目录，以便保存新的训练结果。
rk目录下，该目录下的内容在实例停止后会被保留。可以自定义磁盘空间，如果需要存储数据集、模型等大型文件，建议申请规格300GB+。存储支持在线按需扩容。 图2 自定义存储配置 使用Notebook将OBS数据导入云硬盘EVS 打开已创建的Notebook实例，选择Notebook的python-3
rk目录下，该目录下的内容在实例停止后会被保留。可以自定义磁盘空间，如果需要存储数据集、模型等大型文件，建议申请规格300GB+。存储支持在线按需扩容。 图2 自定义存储配置 使用Notebook将OBS数据导入云硬盘EVS 打开已创建的Notebook实例，选择Notebook的python-3
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
