检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行时长，单位为秒，取值范围为3600-86400，该参数配置之后，每次启动均有效。如果enable为true时，该参数是必须的。如果当前实例的状态为运行中，修改此参数，只有在下次启动才会生效。 prompt 否 Boolean 是否需要再次提醒，该参数提供给前台console，用于让conso
model：模型路径。 Step4 启动AWQ量化服务 参考部署推理服务，使用量化后权重部署AWQ量化服务。 注：Step3 创建服务启动脚本启动脚本中，服务启动命令需添加如下命令。 -q awq 或者--quantization awq 父主题： 推理模型量化
本案例在Notebook上部署推理服务进行调试，因此需要创建Notebook。 部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。
参数说明 参数 是否必选 参数类型 说明 config_name 是 String 训练作业参数名称。限制为1-64位只含数字、字母、下划线或者中划线的名称。 config_desc 否 String 对训练作业的描述，默认为空，字符串的长度限制为[0，256]。 worker_server_num
model：模型路径。 Step4 启动AWQ量化服务 参考部署推理服务，使用量化后权重部署AWQ量化服务。 注：Step3 创建服务启动脚本启动脚本中，服务启动命令需添加如下命令。 -q awq 或者--quantization awq 父主题： 推理模型量化
model：模型路径。 Step4 启动AWQ量化服务 参考部署推理服务，使用量化后权重部署AWQ量化服务。 注：Step3 创建服务启动脚本启动脚本中，服务启动命令需添加如下命令。 -q awq 或者--quantization awq 父主题： 推理模型量化
约束限制 本文档适配昇腾云ModelArts 6.3.911版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite Server。 镜像适配的Cann版本是cann_8.0.rc3。 Lite Server驱动版本要求23
用LLama-Factory模板Sharegpt数据集 MBS 1 表示流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS
用LLama-Factory模板Sharegpt数据集 MBS 1 表示流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS
本案例在Notebook上部署推理服务进行调试，因此需要创建Notebook。 部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 若需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务
约束限制 本文档适配昇腾云ModelArts 6.3.912版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite Server。 镜像适配的Cann版本是cann_8.0.rc3。 Lite Server驱动版本要求23
如果用户有自定义开发的需要，比如查看和编辑代码、数据预处理、权重转换等操作，可通过Notebook环境进行，并且Notebook环境具有一定的存储空间，可与OBS中的数据相互传递。 训练 预训练/微调 介绍如何进行预训练，包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题： 主流开源大模型基于
请求参数如表2所示。 表2 请求参数 参数 是否必选 参数类型 说明 name 是 String 实例名称，长度限制为64个字符， 支持大小写字母、数字、中划线和下划线。 profile_id 是 String 配置ID，当前支持： Ascend-Power-Engine 1.0(python3)
本案例在Notebook上部署推理服务进行调试，因此需要创建Notebook。 部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。
本案例在Notebook上部署推理服务进行调试，因此需要创建Notebook。 部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。
本案例在Notebook上部署推理服务进行调试，因此需要创建Notebook。 部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。
排到队的剩余时间，单位为秒。 end_timestamp Integer 实例排队的预计停止时间，13位时间戳。 rank Integer 实例在队列中的排位。 表18 user字段数据结构说明 参数 参数类型 说明 id String 用户ID。 name String 用户名。 表19 repository字段数据结构说明
试，选择不同的Conda环境。 Notebook：是一款Web应用，用户能够在界面编写代码，并且将代码、数学方程和可视化内容组合到一个文档中。 JupyterLab插件：插件包括规格切换，分享案例到AI Gallery进行交流，停止实例（实例停止后CPU、Memory不再计费）等，提升用户体验。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
