检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。 docker pull {image_url} 步骤三 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.910-xxx.zip和算子包AscendCloud-OPP-6.3.910-xxx.zip到主机中，包获取路径请参见表2。
建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。 docker pull {image_url} 步骤三 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.911-xxx.zip和算子包AscendCloud-OPP-6.3.911-xxx.zip到主机中，包获取路径请参见表2。
在Lite资源池的扩缩容页面，也可以查看节点池的存储配置信息。 查找搜索节点池 在节点池管理页面的搜索栏中，支持通过节点池名称、规格 、容器引擎空间大小、可用区等关键字搜索节点池。 设置节点池列表显示信息 在节点池管理页面中，单击右上角的设置图标，支持对节点池列表中显示的信息进行自定义。 父主题： Lite
建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。 docker pull {image_url} 步骤三 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.911-xxx.zip和算子包AscendCloud-OPP-6.3.911-xxx.zip到主机中，包获取路径请参见表2。
其中ASCEND_RT_VISIBLE_DEVICES=0,1,2,3指使用0-3卡执行训练任务 训练成功标志 “***** train metrics *****”关键字打印 训练完成后，请参考查看日志和性能章节查看指令微调的日志和性能。 1、如训练过程中遇到“NPU out of memory”“Permission
nse信息如下图。 图1 推理请求的response信息 在name栏找到推理请求，其中推理请求的URL包含“/v1/infers”的关键字，可以在header栏中的url看到完整url，分别在Headers页签及Response页签中查看response的信息。 如果是方式2可以根据不同的工具查看response
@#$%^&*_=|?/':.;,”其中的某一字符。 text_sample_separator 否 String 文本与标签之间的分隔符，默认为Tab键分隔，分隔符需转义。分隔符仅支持一个字符，必须为大小写字母，数字和“!@#$%^&*_=|?/':.;,”其中的某一字符。 表7 Label 参数
@#$%^&*_=|?/':.;,”其中的某一字符。 text_sample_separator 否 String 文本与标签之间的分隔符，默认为Tab键分隔，分隔符需转义。分隔符仅支持一个字符，必须为大小写字母，数字和“!@#$%^&*_=|?/':.;,”其中的某一字符。 响应参数 状态码： 200
其中ASCEND_RT_VISIBLE_DEVICES=0,1,2,3指使用0-3卡执行训练任务。 训练成功标志 “***** train metrics *****”关键字打印 训练完成后，请参考查看日志和性能章节查看指令微调的日志和性能。 1、如训练过程中遇到“NPU out of memory”“Permission
etrain_13b.sh localhost 1 0 等待模型载入 执行训练启动命令后，等待模型载入，当出现“training”关键字时，表示开始训练。训练过程中，训练日志会在最后的Rank节点打印。 图1 等待模型载入 更多查看训练日志和性能操作，请参考查看日志和性能章节。
etrain_13b.sh localhost 1 0 等待模型载入 执行训练启动命令后，等待模型载入，当出现“training”关键字时，表示开始训练。训练过程中，训练日志会在最后的Rank节点打印。 图1 等待模型载入 训练完成后，生成的权重文件保存路径为：/home/m
BUILD_IN：预置镜像 DEDICATED：用户已注册的自定义镜像 ALL：所有镜像 -f / --filter String 否 镜像名关键字。根据镜像名关键字过滤镜像列表。 -v / --verbose Bool 否 显示详细的信息开关，默认关闭。 -i / --image-id String
OutputData初始化参数说明 参数 是否必选 类型 描述 obs_path 是 String 数据实际输出到OBS的路径。 name 是 String 输出数据的关键字参数名称，如"output_dir"。 表4 fit请求参数说明 参数 是否必选 类型 描述 inputs 否 Array of InputData
其中ASCEND_RT_VISIBLE_DEVICES=0,1,2,3指使用0-3卡执行训练任务。 训练成功标志 “***** train metrics *****”关键字打印 训练完成后，请参考查看日志和性能章节查看指令微调的日志和性能。 1、如训练过程中遇到“NPU out of memory”“Permission
是否必填 数据类型 name 工作流的名称，命名规范(只能包含英文字母、数字、下划线（_）、中划线（-），并且只能以英文字母开头，长度限制为64位字符 是 str desc 工作流的描述信息 是 str steps 工作流包含的节点列表 是 list[Step] storages 统一存储对象列表
自定义模型名称。 支持1~64位，以中文、大小写字母开头，只包含中文、大小写字母、数字、下划线（_）、中划线（-）和（.）。 描述 模型简介。支持100字符。 权重设置与词表 默认选择“使用推荐权重”，支持选择“自定义权重”。 “使用推荐权重”：使用平台推荐的权重文件，可提高模型的训练、压缩、部署和调优等服务的使用效率。
训练作业配置参数说明 参数 说明 Job Name 训练作业的名称。 系统会自动生成一个名称，您可以根据业务需求重新命名，命名规则如下： 支持1~64位字符。 并包含大小写字母、数字、中划线（-）或下划线（_）。 Job Description 训练作业的简要描述。 Algorithm Source
scripts/llama2/0_pl_pretrain_13b.sh 等待模型载入 执行训练启动命令后，等待模型载入，当出现“training”关键字时，表示开始训练。训练过程中，训练日志会在最后的Rank节点打印。 图1 等待模型载入 最后，请参考查看日志和性能章节查看预训练的日志和性能。
必填，工作空间的名称。 支持4~64位可见字符，名称可以包含字母、中文、数字、中划线（-）或下划线（_）。 描述 工作空间的简介。支持0~256位字符。 企业项目 必填，选择绑定的企业项目。当没有合适的企业项目时，可以单击“新建企业项目”跳转到企业项目管理页面，创建新的企业项目再绑定。
Cluster资源池单个节点驱动章节。 查找搜索节点 在节点管理页面的搜索栏中，支持通过节点名称、状态、批次、驱动版本、驱动状态、IP地址、节点池、资源标签等关键字搜索节点。 设置节点列表显示信息 在节点管理页面中，单击右上角的设置图标，支持对节点列表中显示的信息进行自定义。 父主题： Lite Cluster资源管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
