检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文档适配昇腾云ModelArts 6.3.911版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite Cluster。 本文档中的CCE集群版本选择v1.27~1.28。版本使用的容器引擎为Containerd。 镜像适配的Cann版本是cann_8
照版本配套关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。 本文档中的CCE集群版本选择v1.27~1.28。版本使用的容器引擎为Containerd。 推理部署使用的服务框架是vLLM。vLLM支持v0.6
约束限制 本文档适配昇腾云ModelArts 6.3.907版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite Server。 镜像适配的Cann版本是cann_8.0.rc2。 确保容器可以访问公网。 Server驱动版本要求23
照版本配套关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。 本文档中的CCE集群版本选择v1.27~1.28。版本使用的容器引擎为Containerd。 推理部署使用的服务框架是vLLM。vLLM支持v0.6
精度问题概述 随着ChatGPT的推出，大模型迅速成为AI界热点。大模型训练需要强大的算力支撑，涉及数据、模型、框架、算子、硬件等诸多环节。由于规模巨大，训练过程复杂，经常出现loss不收敛的情况（模型精度问题），主要表现为loss曲线起飞或者毛刺等，且模型的下游任务评测效果变差
如果用户有自定义开发的需要，比如查看和编辑代码、数据预处理、权重转换等操作，可通过Notebook环境进行，并且Notebook环境具有一定的存储空间，可与OBS中的数据相互传递。 训练 预训练/微调 介绍如何进行预训练，包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题： 主流开源大模型基于
https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct 说明：当前版本中yi-34b、qwen1.5-32b模型暂不支持单卡启动。 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源
约束限制 本文档适配昇腾云ModelArts 6.3.906版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite Server。 镜像适配的Cann版本是cann_8.0.rc2。 确保容器可以访问公网。 训练支持的模型列表
请求参数如表2所示。 表2 请求参数 参数 是否必选 参数类型 说明 name 是 String 实例名称，长度限制为64个字符， 支持大小写字母、数字、中划线和下划线。 profile_id 是 String 配置ID，当前支持： Ascend-Power-Engine 1.0(python3)
e_file.json步骤中会用到。 server_count：节点个数。4机部署为4，2机部署为2。当2机部署时，server_list中填写的内容也只需要2机16卡的相关信息，当前样例为4机32卡，2机时请删除多余的信息。 device_ip：当前卡的IP地址，每台机器共8张卡。device_ip查询命令
约束限制 本文档适配昇腾云ModelArts 6.3.907版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite Server。 镜像适配的Cann版本是cann_8.0.rc2。 确保容器可以访问公网。 训练支持的模型列表
运行时长，单位为秒，取值范围为3600-86400，该参数配置之后，每次启动均有效。如果enable为true时，该参数是必须的。如果当前实例的状态为运行中，修改此参数，只有在下次启动才会生效。 prompt 否 Boolean 是否需要再次提醒，该参数提供给前台console，用于让conso
√ x x x x llava-hf/llava-v1.6-34b-hf at main (huggingface.co) 说明：当前版本中yi-34b、qwen1.5-32b模型暂不支持单卡启动，glm4-9b模型仅支持单卡启动。 操作流程 图1 操作流程图 表2 操作任务流程说明
String 批量任务输入数据的OBS路径。 dest_path String 批量任务输出结果的OBS路径。 req_uri String 批量任务中调用的推理路径。 mapping_type String 输入数据的映射类型，取值为：file或csv。 mapping_rule Map
表2 请求参数 参数 是否必选 参数类型 说明 job_name 是 String 可视化作业名称。限制为1-20位只含数字，字母，下划线，中划线的名称。 job_desc 否 String 对可视化作业的描述，默认为空，字符串的长度限制为[0, 256]。 train_url 是
约束限制 本文档适配昇腾云ModelArts 6.3.912版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite Server。 镜像适配的Cann版本是cann_8.0.rc3。 Lite Server驱动版本要求23
更新管理 ModelArts在线服务更新 对于已部署的推理服务，ModelArts支持通过更换模型的版本号，实现服务升级。 推理服务有三种升级模式：全量升级、滚动升级（扩实例）和滚动升级（缩实例）。了解三种升级模式的流程，请参见图1。 全量升级 需要额外的双倍的资源，先全量创建新版本实例，然后再下线旧版本实例。
约束限制 本文档适配昇腾云ModelArts 6.3.909版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite Server。 镜像适配的Cann版本是cann_8.0.rc3。 Lite Server驱动版本要求23
print(predictor_object_list) 参数说明 查询服务列表，返回list，list大小等于当前用户所有已经部署的服务个数，list中每个元素都是Predictor对象，对象属性同本章初始化服务。 查询服务列表返回说明：service_list_resp = [service_instance1
约束限制 本文档适配昇腾云ModelArts 6.3.911版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite Server。 镜像适配的Cann版本是cann_8.0.rc3。 Lite Server驱动版本要求23
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
