检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务器页面。 图8 节点管理 单击“远程登录”，在弹出的窗口中，单击“CloudShell登录”。 图9 远程登录 在CloudShell中设置密码等参数后，单击“连接”即可登录节点，CloudShell介绍可参见远程登录Linux弹性云服务器（CloudShell方式） 。 配置kubectl工具。
必须修改。加载tokenizer与Hugging Face权重时存放目录绝对或相对路径。请根据实际规划修改。 template qwen 必须修改。用于指定模板。如果设置为"qwen"，则使用Qwen模板进行训练，模板选择可参照表1中的template列 output_dir /home/ma-user/w
json，数据大小：43.6 MB。 自定义数据 预训练数据：用户也可以自行准备预训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
session 是 Object 会话对象，初始化方法请参考Session鉴权。 offset 否 Integer 查询作业的偏移量，最小为0。例如设置为1，则表示从第二条开始查。 limit 否 Integer 查询作业的限制量。最小为1，最大为50。 sort_by 否 String
911版本仅是使用run_type来指定训练的类型，只能区分预训练、全参微调和lora微调但实际上预训练和sft是训练的不同阶段，全参、lora是训练参数设置方式。为了更加明确的区分不同策略，以及和llama-factory对齐，6.3.912版本调整以下参数： 新增STAGE，表示训练的阶段，可以选择的参数包括:
变化，修改用于标注的标签。支持添加、修改和删除标签。 添加标签 在“未标注”页签下，单击“标签集”右侧的加号，在弹出“新增标签”对话框中，设置“标签名称”和“标签颜色”，然后单击“确定”完成标签添加。 修改标签 在“已标注”页签中“全部标签”的下方操作列，选择需要修改的标签，单击
json，数据大小：43.6 MB。 自定义数据 预训练数据：用户也可以自行准备预训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
json，数据大小：43.6 MB。 自定义数据 预训练数据：用户也可以自行准备预训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
json，数据大小：43.6 MB。 自定义数据 预训练数据：用户也可以自行准备预训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
|──llm_tools # 推理工具 工作目录介绍 详细的工作目录参考如下，建议参考以下要求设置工作目录。训练脚本以分类的方式集中在scripts文件夹中。 ${workdir}（例如/home/ma-user/ws ） |──llm_train
json，数据大小：43.6 MB。 自定义数据 预训练数据：用户也可以自行准备预训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
911版本仅是使用run_type来指定训练的类型，只能区分 预训练、全参微调和lora微调但实际上预训练和sft是训练的不同阶段，全参、lora是训练参数设置方式。为了更加明确的区分不同策略，以及和llama-factory对齐，6.3.912版本调整以下参数： 新增 STAGE，表示训练的阶段，可以选择的参数包括:
是否自动停止：为了避免资源浪费，建议您打开该开关，根据您的需求，选择自动停止时间，也可以自定义自动停止的时间。 图2 选择计算节点规格 图3 设置自动停止 参数填写完毕之后，单击运行状况右边的“继续运行”，单击确认弹窗中的“确定”即可继续完成工作流的运行。 步骤六：预测分析 运行完成
是否自动停止：为了避免资源浪费，建议您打开该开关，根据您的需求，选择自动停止时间，也可以自定义自动停止的时间。 图2 选择计算节点规格 图3 设置自动停止 参数填写完毕之后，单击运行状况右边的“继续运行”，单击确认弹窗中的“确定”即可继续完成工作流的运行。 步骤六：预测分析 运行完成
远程接入管理 使用本地IDE远程SSH连接ModelArts的Notebook开发环境时，需要用到密钥对进行鉴权认证。同时支持白名单访问控制，即设置允许远程接入访问这个Notebook的IP地址。 父主题： 安全
json。详细样例参见附录：rank_table_file.json文件。注意：样例为4机部署配置，如果是2机部署则需要删除多余的配置，仅保留2机16卡的配置。 设置rank_table_file.json文件权限。进入rank_table_file.json文件存放目录${path-to-file}，执行如下命令。
若显存较低可以调整batch_size保证正常运行，改为8或者更小。 本次训练step为1000，训练时间较长，可以改为500。 如开启deepspeed训练时，需要设置参数checkpointing_steps>max_train_steps（严格大于），否则会报错。 父主题： 文生图模型训练推理
open(txt_path, 'w') as file: file.write(data['prompt']) 步骤六：设置宿主机文件权限 chmod -R 777 ${work_dir} 步骤七：进入容器 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。
|──llm_tools # 推理工具 工作目录介绍 详细的工作目录参考如下，建议参考以下要求设置工作目录。训练脚本以分类的方式集中在scripts文件夹中。 ${workdir}（例如/home/ma-user/ws ） |──llm_train
订阅免费算法 在AI Gallery中，您可以查找并订阅免费满足业务需要的算法，直接用于创建训练作业。 AI Gallery中分享的算法支持免费订阅，但在使用过程中如果消耗了硬件资源进行部署，管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云，且创建好OBS桶用于存储数据和模型。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
