检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
per-channel 步骤一 模型量化 可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。 方式一：从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models?so
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值
Notebook实例的存储配置采用的是云硬盘EVS。 图1 创建Notebook实例时选择云硬盘EVS存储 单次最大可以扩容100GB，扩容后的总容量不超过4096GB。 云硬盘EVS存储容量最大支持4096GB，达到4096GB时，不允许再扩容。 实例停止后，扩容后的容量仍然有效。计
准备镜像 构建容器镜像并调试 镜像构建及调试与单机单卡相同。 具体操作，请参考线下容器镜像构建及调试。 上传镜像 请参考单机单卡训练的上传镜像章节操作。 父主题： 单机多卡
线下容器镜像构建及调试 构建容器镜像并调试 镜像构建及调试与单机单卡相同。 具体操作，请参考线下容器镜像构建及调试。 上传镜像 请参考单机单卡训练的上传镜像章节操作。 父主题： 多机多卡
更新数据集 更新数据集的名称和描述信息。 dataset.update_dataset(dataset_name=None, description=None) 示例代码 更新数据集名称 from modelarts.session import Session from modelarts
docker 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward 如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。
创建镜像组织中创建的组织名称，<镜像名称>:<tag>为自定义镜像名称。 打印如下信息，表示构建镜像成功。 图3 成功构建镜像 Step6 在ECS中Docker登录 在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。在创建的ECS中粘贴临时登录指令，即可完成登录。
在ECS中Docker登录 在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。在创建的ECS中粘贴临时登录指令，即可完成登录。 图3 复制登录指令 Step5 获取推理基础镜像 建议使用官方提供的镜像部署服务。镜像地址{image_url}参考镜像版本。
如果您需要长期使用当前按需购买的ModelArts专属资源池，可以将该专属资源池转为包年/包月计费模式，以节省开支。按需计费变更为包年/包月会生成新的订单，用户支付订单后，包年/包月资源将立即生效。 假设用户于2023/04/18 15:29:16购买了一台按需计费的专属资源池，由于业务需要，于2023/04/18
资源进行手动续费的操作。 所有需手动续费的资源都可归置到“手动续费项”页签，具体操作请参见如何恢复为手动续费。 手动续费资源。 单个续费：在资源页面找到需要续费的资源，单击操作列的“续费”。 图1 单个续费 批量续费：在资源页面勾选需要续费的资源，单击列表左上角的“批量续费”。
项目ID通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为GET https://{iam-endpoint}/v3/projects，其中{iam-endpoint}为IAM的终端节点，可以从地区和终端节点处获取。 响应示例如下，例如ModelArts部署的区域为"cn-no
导入模型账号欠费导致被冻结； 导入模型账号没有对应工作空间的权限； 导入模型账号为子账号，主账号没有给子账号赋予模型相关权限。 权限说明请参见：策略及授权项说明； 处理方法 确认是账号欠费冻结，补交对应欠费，等待账号解冻即可； 如果是导入模型没有对应的工作权限，可以参考创建自定义策略对相应账号赋予导入模型相关权限。
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前支持alpaca格式和sharegpt格式的微调数据集；使用自定义数据集时，请更新代码目录下data/dataset_info
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前支持alpaca格式和sharegpt格式的微调数据集；使用自定义数据集时，请更新代码目录下data/dataset_info
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前支持alpaca格式和sharegpt格式的微调数据集；使用自定义数据集时，请更新dataset_info.json文件；请务必在dataset_info
Method Not Allowed 问题现象 服务预测报错：Method Not Allowed 原因分析 服务预测默认注册的API需要使用POST方法调用。如您使用了GET方法，APIG（API网关）将会拦截请求。 处理方法 使用POST方法调用。 父主题： 服务预测
称”，单击“确定”完成创建，选择创建的文件夹。 文件夹名称不能包含以下字符 : \/:*?"<>|。 文件夹名称不能以英文句号（.）或斜杠（/）开头或结尾。 文件夹的绝对路径总长度不能超过1023字符。 任何单个斜杠（/）表示分隔并创建多层级的文件夹。 图2 新建文件夹 父主题：
称”，单击“确定”完成创建，选择创建的文件夹。 文件夹名称不能包含以下字符 : \/:*?"<>|。 文件夹名称不能以英文句号（.）或斜杠（/）开头或结尾。 文件夹的绝对路径总长度不能超过1023字符。 任何单个斜杠（/）表示分隔并创建多层级的文件夹。 图2 新建文件夹 父主题：
创建镜像组织中创建的组织名称，<镜像名称>:<tag>为自定义镜像名称。 打印如下信息，表示构建镜像成功。 图5 成功构建镜像 Step6 在ECS中Docker登录 在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。在创建的ECS中粘贴临时登录指令，即可完成登录。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
