检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件夹文件、模型依赖包、数据集、Dockerfile文件都上传至ECS，上传步骤可参考本地Windows主机使用WinSCP上传文件到Linux云服务器。 文件上传后目录如下： <ECS_folder> ├── attention_processor.py
分页列表的起始页，默认为0。 limit 否 Integer 指定每一页返回的最大条目数，取值范围[1,100]，默认为10。 父主题： 数据集管理
description 否 String 版本描述信息，默认为空，长度为0-256位，不能包含!<>=&"'特殊字符。 父主题： 数据集版本管理
对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用prefix-caching特性，不添加表示不使用。开启该特性后，如果模型长度>8192，则需要在启动推理服务前添加如下环境变量降低显存占用；否则在长序列的推理中会触发Out of Memory，导致推理服务不可用。
在ModelArts中，训练代码需包含以下步骤： （可选）引入依赖 当您使用自定义脚本创建算法的时候，如果您的模型引用了其他依赖，您需要在“算法管理 > 创建算法”的“代码目录”下放置相应的文件或安装包。 安装python依赖包请参考模型中引用依赖包时，如何创建训练作业？ 安装C++的依赖库请参考如何安装C++的依赖库？
--enable-prefix-caching：如果prompt的公共前缀较长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用，不添加表示不使用。如果模型长度>8192，不支持开启prefix-caching特性，否则会导致推理服务不可用。 --quantiza
dataset.get_dataset_info() print(dataset_info) # 输出数据集的详细信息 参数说明 无。 父主题： 数据集管理
list_export_tasks() print(list_tasks_resp) # 打印导出任务列表 参数说明 无。 父主题： 导出任务管理
Key Id），SK（Secret Access Key）。 图1 credential.csv文件内容 AK/SK生成步骤： 注册并登录管理控制台。 单击右上角的用户名，在下拉列表中单击“我的凭证”。 单击“访问密钥”。 单击“新增访问密钥”，进入“身份验证”页面。 根据提示完成身份验证，下载密钥，并妥善保管。
OBS管理 OBS管理概述 文件传输（推荐） 上传文件至OBS 上传文件夹至OBS 从OBS下载文件 从OBS下载文件夹
打印数据集版本的详情 参数说明 表1 请求参数 参数 是否必选 参数类型 描述 version_id 是 String 数据集版本ID。 父主题： 数据集版本管理
参数说明 表1 请求参数 参数 是否必选 参数类型 描述 version_id 是 String 数据集版本ID。 父主题： 数据集版本管理
管理ModelArts模型版本 为方便溯源和模型反复调优，在ModelArts中提供了模型版本管理的功能，您可以基于版本对模型进行管理。 前提条件 已在ModelArts中创建模型。 创建新版本 在“模型”页面，单击操作列的“创建新版本”进入“创建新版本”页面，参数配置除版本外，
训练完成的权重文件默认不会自动转换为Hugging Face格式权重。若用户需要自动转换，则在运行脚本，例如0_pl_pretrain_13b.sh中，添加变量CONVERT_MG2HF并赋值TRUE。若用户后续不需要自动转换，则在运行脚本中必须删除CONVERT_MG2HF变量。 Megat
型的PTA图模式启动不支持multi step。 PTA图模式参数配置 如果要开启PTA图模式，请配置以下5个环境变量，并且启动服务时不要添加enforce-eager参数。 export INFER_MODE=PTA # 开启PTA模式，如果不使用图模式，请关闭该环境变量 export
--per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 参考启动推理服务，启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant 使用llm-compressor工具量化Deepseek-v2系列模型
训练完成的权重文件默认不会自动转换为Hugging Face格式权重。若用户需要自动转换，则在运行脚本，例如0_pl_pretrain_13b.sh中，添加变量CONVERT_MG2HF并赋值TRUE。若用户后续不需要自动转换，则在运行脚本中必须删除CONVERT_MG2HF变量。 Megat
s所在区域、填写AK、SK（获取方式参考链接），然后单击“OK”完成登录。 “Region”：从下拉框中选择区域。必须与ModelArts管理控制台在同一区域。 “Project”：Region选择后，Project自动填充为Region对应的项目。 “Access Key ID”：填写访问密钥的AK。
dataset.list_versions() print(version_list) # 打印数据集的版本列表 参数说明 无。 父主题： 数据集版本管理
"software|firmware" #查看驱动和固件版本 24.1.0版本驱动文件为Ascend-hdk-910b-npu-driver_24.1.0_linux-aarch64.run，对应固件文件为Ascend-hdk-910b-npu-firmware_7.5.0.3.220.run，请申请下载。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
