检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建SFS Turbo文件系统前提条件： 创建SFS Turbo文件系统前，确认已有可用的VPC。 图4 创建SFS Turbo 需要由IAM用户设置SFS Turbo FullAccess权限，用于授权ModelArts云服务使用SFS Turbo。 详细操作指导请参考创建SFS Turbo文件系统。
where the trained ckpt file') args = parser.parse_args() ... # 下载的代码无需设置，后续涉及训练数据和输出路径数据使用data_url和train_url即可 #下载数据参数至容器本地，在代码中使用local_data_path代表训练输入位置
|──llm_tools # 推理工具 工作目录介绍 详细的工作目录参考如下，建议参考以下要求设置工作目录。训练脚本以分类的方式集中在scripts文件夹中。 ${workdir}（例如/home/ma-user/ws ） |──llm_train
若显存较低可以调整batch_size保证正常运行，改为8或者更小。 本次训练step为1000，训练时间较长，可以改为500。 如开启deepspeed训练时，需要设置参数checkpointing_steps>max_train_steps（严格大于），否则会报错。 父主题： AIGC模型训练推理
类型，可以在列表的右上角单击“选择当前页”，则当前页面所有的音频将选中。 添加标签。 在右侧的“添加标签”区域中，单击“标签”下侧的文本框设置标签。 方式一（已存在标签）：单击“标签”下方的文本框，在快捷键下拉列表中选择快捷键，然后在标签文本输入框中选择已有的标签名称，然后单击“确定”。
模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度（SEQ_LEN） 并行参数设置 micro
分布式训练 训练加速 训练高可靠性 查看训练结果和日志 查看训练作业详情 训练作业运行中或运行结束后，可以在训练作业详情页面查看训练作业的参数设置，训练作业事件等。 查看训练作业日志 训练日志用于记录训练作业运行过程和异常信息，可以通过查看训练作业日志定位作业运行中出现的问题。 表2
地址。 out_file_name：输出的sharegpt格式文件地址。 prefix_name：预训练json文件的前缀 字段名称 （可设置为None，此时预训练数据集只有 input output 两段）输入前缀，（例如：您是一个xxx专家,您需要回答下面问题） input_name：预训练json文件的指令输入
地址。 out_file_name：输出的sharegpt格式文件地址。 prefix_name：预训练json文件的前缀 字段名称 （可设置为None，此时预训练数据集只有 input output 两段）输入前缀，（例如：您是一个xxx专家,您需要回答下面问题） input_name：预训练json文件的指令输入
|──llm_tools # 推理工具 工作目录介绍 详细的工作目录参考如下，建议参考以下要求设置工作目录。训练脚本以分类的方式集中在scripts文件夹中。 ${workdir}（例如/home/ma-user/ws ） |──llm_train
|──llm_tools # 推理工具 工作目录介绍 详细的工作目录参考如下，建议参考以下要求设置工作目录。训练脚本以分类的方式集中在scripts文件夹中。 ${workdir}（例如/home/ma-user/ws ） |──llm_train
json，数据大小：43.6 MB。 自定义数据 预训练数据：用户也可以自行准备预训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度（SEQ_LEN） 并行参数设置 micro
地址。 out_file_name：输出的sharegpt格式文件地址。 prefix_name：预训练json文件的前缀 字段名称 （可设置为None，此时预训练数据集只有 input output 两段）输入前缀，（例如：您是一个xxx专家,您需要回答下面问题） input_name：预训练json文件的指令输入
参数类型 描述 - String 状态码： 500 表9 响应Body参数 参数 参数类型 描述 - String 请求示例 创建工作空间。设置工作空间名称为“test-workspace”，授权类型为“internal”，授权的IAM用户名称为“test”。 POST https
|──llm_tools # 推理工具 工作目录介绍 详细的工作目录参考如下，建议参考以下要求设置工作目录。训练脚本以分类的方式集中在 scripts 文件夹中。 ${workdir}（例如使用SFS Turbo的路径：/mnt/sfs_turbo/）
|──llm_tools # 推理工具 工作目录介绍 详细的工作目录参考如下，建议参考以下要求设置工作目录。训练脚本以分类的方式集中在 scripts 文件夹中。 ${workdir}（例如使用SFS Turbo的路径：/mnt/sfs_turbo/）
中的镜像更改或删除不影响服务部署。 false：表示不复制镜像模式，可极速创建AI应用，更改或删除SWR源目录中的镜像会影响服务部署。 不设置值时，默认为复制镜像模式。 tenant String 模型所属租户的账号id。 subscription_id String 模型订阅ID。
sampler, 基于当前的epoch为其设置随机数，避免加载到重复数据 ### tr_sampler.set_epoch(epoch) ### 分布式改造，DDP sampler, 基于当前的epoch为其设置随机数，避免加载到重复数据 ###
使用导入的模型权重覆盖所有初始化的权重 # 4. 调用 PretrainedConfig.from_pretrained(dir)来将配置设置到self.config中 PretrainedModel.from_pretrained(dir) # 将模型实例序列化到 dir/pytorch_model
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
