检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 下拉选择标注类型 在标注作业标注详情中，展示此标注作业下全部数据。 标注视频 标注作业详情页中，展示了此数据集中“未标注”、“已标注”和“全部”的视频。 在“未标注”页签左侧视频列表中，单击目标视频文件，打开标注页面。 在标注页面中，播放视频，当视频播放至待标注时间时，单击
执行训练启动命令后，等待模型载入，当出现“training”关键字时，表示开始训练。训练过程中，训练日志会在最后的Rank节点打印。 图1 等待模型载入 更多查看训练日志和性能操作，请参考查看日志和性能章节。 如果需要使用断点续训练能力，请参考断点续训练章节修改训练脚本。 父主题： 预训练
本教程案例是基于ModelArts Standard运行的，需要购买并开通ModelArts专属资源池和OBS桶。 准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 准备权重 准备所需的权重文件。 准备代码 准备AscendFactory训练代码。 准备镜像 准备训练模型适用的容器镜像。
data.json 如果在准备数据章节已下载数据集，此处无需重复操作。 SFT微调和LoRA微调训练使用的是同一个数据集，数据处理一次即可，训练时可以共用。 数据预处理说明 使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data
排队信息，如表17所示。 user Object 用户信息，如表18所示。 repository Object Git仓库信息，如表19所示。该字段不支持使用，在调用接口时会自动返回。 表3 profile字段数据结构说明 参数 参数类型 说明 id String 配置ID。 name String
gatron格式权重文件。 lora微调不支持断点续训 启动前需检查latest_checkpointed_iteration.txt文件中内容是否与所需iter_000xxxx数字（表示训练后保存权重对应迭代次数）保持一致，不一致则修改latest_checkpointed_iteration
云服务器。通过本文档，您可以实现弹性云服务器访问公网的目的。 使用华为云账号登录CCE管理控制台。 找到购买Cluster资源时选择的CCE集群，单击名称进入CCE集群详情页面，单击“节点管理”页签，在“节点”页签中单击需要登录的节点名称，跳转至弹性云服务器页面。 图1 节点管理
进入OBS管理控制台，选择当前自动学习项目使用的OBS桶，单击桶名称进入概览页。 在左侧菜单栏选择“访问权限控制>桶ACL”，检查当前账号是否具备读写权限，如果没有权限，请联系桶的拥有者配置权限。 确保此OBS桶是非加密桶 进入OBS管理控制台，选择当前自动学习项目使用的OBS桶，单击桶名称进入概览页。
gatron格式权重文件。 lora微调不支持断点续训 启动前需检查latest_checkpointed_iteration.txt文件中内容是否与所需iter_000xxxx数字（表示训练后保存权重对应迭代次数）保持一致，不一致则修改latest_checkpointed_iteration
gatron格式权重文件。 lora微调不支持断点续训 启动前需检查latest_checkpointed_iteration.txt文件中内容是否与所需iter_000xxxx数字（表示训练后保存权重对应迭代次数）保持一致，不一致则修改latest_checkpointed_iteration
h.jsonl 如果在准备数据章节已下载数据集，此处无需重复操作。 SFT全参微调和LoRA微调训练使用的是同一个数据集，数据处理一次即可，训练时可以共用。 数据预处理说明 使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data
进入数据标注页面。 在数据标注列表页，“我创建的”页签下，选择需要复制的标注任务。 单击作业操作列的“更多>复制”。 在标注任务复制的弹窗中，填写作业描述，作业名称task-xxxx-copy-xxxx，其中xxxx为系统生成的随机码，用来区分新作业与被复制作业。也可以修改新生成的作业名称。单击“确定”。
parquet 如果在准备数据章节已下载数据集，此处无需重复操作。 SFT全参微调和LoRA微调训练使用的是同一个数据集，数据处理一次即可，训练时可以共用。 数据预处理说明 使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data
置的yaml文件地址，指代码目录中performance_cfgs.yaml相对或绝对路径，此配置文件为训练最优配置参数。 --baseline <baseline>：<可选>GP-Ant8机器性能基线yaml文件路径，用户可自行修改，不填则使用工具自带基线配置，默认基线配置样例如下：
置的yaml文件地址，指代码目录中performance_cfgs.yaml相对或绝对路径，此配置文件为训练最优配置参数。 --baseline <baseline>：<可选>GP-Ant8机器性能基线yaml文件路径，用户可自行修改，不填则使用工具自带基线配置，默认基线配置样例如下：
永久移动，请求的资源已被永久的移动到新的URI，返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。 304 Not Modified 所请求的资源未修改，服务器返回此状态码时，不会返回任何资源。 305 Use
记录。重置中节点状态为“重置中”，重置成功后，节点状态变为“可用”）。重置节点操作不会收取费用。 重置节点将影响相关业务的运行，重置时本地盘会被清空、节点上的k8s标签会被清除，请谨慎操作。 节点状态为“可用”的节点才能进行重置。 同一时间单个节点只能处于一个重置任务中，无法对同一个节点同时下发多个重置任务。
准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据，可以用Alpaca数据集，也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、断点续训及性能查看。
pip install SomePackage #最新版本安装 pip uninstall SomePackage #卸载软件版本 其他命令请使用pip --help命令查询。 父主题： Standard Notebook
代码包名称 代码说明 下载地址 AscendCloud-3rdLLM-6.3.905-xxx.zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 AscendSpeed是用于模型
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
