检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
擎选择Custom，引擎包选择步骤3构建的镜像。 图3 创建模型 将创建的模型部署为在线服务，大模型加载启动的时间一般大于普通的模型创建的服务，请配置合理的“部署超时时间”，避免尚未启动完成被认为超时而导致部署失败。 图4 部署为在线服务 调用在线服务进行大模型推理，请求路径填写
置后，可单击“继续运行”按钮并确认继续执行当前节点。 部分运行Workflow节点 针对大型、复杂的Workflow，为节省重复运行消耗的时间，在运行业务场景时，用户可以选择其中的部分节点作为业务场景运行，工作流在执行时将会按顺序执行部分运行节点。 部分运行Workflow节点，
口是唯一不需要认证的接口。 否，使用Token认证时必选。 - X-Sdk-Date 请求的发生时间，格式为(YYYYMMDD'T'HHMMSS'Z')。 取值为当前系统的GMT时间。 否，如果使用AK/SK做接口认证的时候，那么此字段必须设置；如果使用PKI token的时候，不必设置。
进行Session鉴权。可参见（可选）Session鉴权完成鉴权。鉴权完成后，即可开始使用。 SDK版本说明 表1 ModelArts SDK版本说明 发布时间 版本号 说明 2023-04 1.4.18 1.4.18版本在SDK旧版本基础上优化集成，主要新增DLI Spark任务提交能力，支持服务部署到推理新版专属资源池。
、重置等操作，也可以批量对节点进行删除、退订、续费等操作。 扩缩容Lite Cluster资源池：当Cluster资源池创建完成，使用一段时间后，由于用户AI开发业务的变化，对于资源池资源量的需求可能会产生变化，面对这种场景，ModelArts提供了扩缩容功能，用户可以根据自己的需求动态调整。
实际存储空间足够，却依旧报错“No Space left on device”。 同一目录下创建较多文件，为了加快文件检索速度，内核会创建一个索引表，短时间内创建较多文件时，会导致索引表达到上限，进而报错。 触发条件和下面的因素有关： 文件名越长，文件数量的上限越小 blocksize越小，文件数量的上限越小。（
Loss收敛情况（示意图） 注：ppo训练结束不会打印性能。建议根据保存路径下的trainer_log.jsonl文件的最后一行总的训练steps和时间来判断性能 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.910）
Loss收敛情况（示意图） ppo训练结束不会打印性能。建议根据保存路径下的trainer_log.jsonl文件的最后一行总的训练steps和时间来判断性能。 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.911）
Loss收敛情况（示意图） ppo训练结束不会打印性能。建议根据保存路径下的trainer_log.jsonl文件的最后一行总的训练steps和时间来判断性能。 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.912）
参数类型 描述 statistics statistics object 资源池统计信息。 operationTime String 统计的时间。 表4 statistics 参数 参数类型 描述 status status object 不同状态下的资源池统计信息。 表5 status
训练迁移快速入门案例 本篇指导是迁移的总体思路介绍，便于用户对迁移过程有一个整体的认识。如果您希望通过具体案例直接实操，请参考《主流开源大模型基于DevServer适配PyTorch NPU训练指导》。该案例以ChatGLM-6B为例，介绍如何将模型迁移至昇腾设备上训练、模型精度对齐以及性能调优。
Loss收敛情况（示意图） ppo训练结束不会打印性能。建议根据保存路径下的trainer_log.jsonl文件的最后一行总的训练steps和时间来判断性能。 图3 trainer_log.jsonl文件 父主题： 主流开源大模型基于Lite Server适配LlamaFactory
emUsage”“npuMemUsage”、“npuUtil”、可以添加或取消对应参数的使用情况图。 操作三：鼠标悬浮在图片上的时间节点，可查看对应时间节点的占用率情况。 表2 参数说明 参数 说明 cpuUsage cpu使用率。 gpuMemUsage gpu内存使用率。 gpuUtil
语音内容：对语音内容进行标注。 语音分割：对语音进行分段标注。 文本 文本分类：对文本的内容按照标签进行分类处理。 命名实体：针对文本中的实体片段进行标注，如“时间”、“地点”等。 文本三元组：针对文本中的实体片段和实体之间的关系进行标注。 视频 视频标注：识别出视频中每个物体的位置及分类。目前仅支持mp4格式。
（可选）配置镜像预热 Lite Cluster资源池支持镜像预热功能，镜像预热可实现将镜像提前在资源池节点上拉取好，在推理及大规模分布式训练时有效缩短镜像拉取时间。 快速配置Lite Cluster资源案例 下文提供一个快速配置的案例，配置完成后您可登录到节点查看加速卡信息并完成一个训练任务。在运行
性， 如： #!/bin/bash while true; do nvidia-smi & sleep 1 # 可以根据需要调整间隔时间 done 然后执行查看产生nvidia D+进程 ps -aux | grep -w D+ 结果如下： 图1 nvidia D+进程 此
软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-3rdLLM-6.3.905-xxx.zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的vLLM 0.3.2推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E
软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.906-xxx.zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E
906-xxx.zip软件包中的AscendCloud-AIGC-6.3.906-xxx.zip 说明： 包名中的xxx表示具体的时间戳，以包名的实际时间为准。 获取路径：Support-E。 说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。 基础镜像 西南-贵阳一：swr
用户基于外部镜像文件或裸金属服务器创建的个人镜像，仅用户自己可见。包含操作系统、预装的公共应用以及用户的私有应用。选择私有镜像创建，可以节省您重复配置服务器的时间。 表5 选择网络参数说明 参数名称 说明 虚拟私有云 配置Server的虚拟私有云（Virtual Private Cloud，简称VP
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
