检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
时间。 处理方法 在创建训练作业时，数据可以保存到OBS上。不建议使用TensorFlow、MXNet、PyTorch的OBS接口直接从OBS上读取数据。 如果文件较小，可以将OBS上的数据保存成“.tar”包。训练开始时从OBS上下载到“/cache”目录，解压以后使用。 如果文件较大，可以保存成多个“
在计费。 有以下几种可能情况： 因为您在使用ModelArts过程中，将数据上传至OBS进行存储，OBS会根据实际存储的数据进行计费。建议前往OBS管理控制台，清理您不再使用的数据、文件夹以及OBS桶，避免产生不必要的费用。 您在创建Notebook时，选择了云硬盘EVS存储，该
在计费。 有以下几种可能情况： 因为您在使用ModelArts过程中，将数据上传至OBS进行存储，OBS会根据实际存储的数据进行计费。建议前往OBS管理控制台，清理您不再使用的数据、文件夹以及OBS桶，避免产生不必要的费用。 您在创建Notebook时，选择了云硬盘EVS存储，该
HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象，用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联，然后通过创建导入导出任务实现数据同步。通过OBS与SFS Turbo存储联动，可以将最新的训练数据导入到SFS Turbo，然后在训练作业中挂载SFS
当提示空间不足时，推荐使用EVS类型的Notebook实例。 参考如何在Notebook中上传下载OBS文件？操作指导，针对原有的Notebook，首先将代码和数据上传至OBS桶中。然后创建一个EVS类型的Notebook，将此OBS中的文件下载至Notebook本地（指新建的EVS类型Notebook）。
所有用户：该选项表示会将委托的权限授权到当前账号下的所有子账号、包括未来创建的子账号，授权范围较大，需谨慎使用。个人用户选择“所有用户”即可。 “授权对象” “授权对象类型”选择“所有用户”时不涉及此参数。 IAM子用户：选择指定的IAM子用户，给指定的IAM子用户配置委托授权。 图1 选择IAM子用户
使用从OBS选择的数据创建表格数据集如何处理Schema信息？ Schema信息表示表格的列名和对应类型，需要跟导入数据的列数保持一致。 若您的原始表格中已包含表头，需要开启“导入是否包含表头”开关，系统会导入文件的第一行（表头）作为列名，无需再手动修改Schema信息。 若您的
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的 llm_train/AscendSpeed
ma2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。得到OBS下数据集结构： obs://<bucket_name>/training_data |── train-00000-
# 微调数据文件 方式二：通过OBS Browser+将数据上传至OBS，最后在ECS中使用obsutil工具将OBS数据下载至SFS Turbo中。具体步骤如下： 在创建OBS桶创建的桶下创建文件夹用以存放数据，例如在桶standard-ll
rts/user-job-dir/AscendSpeed; sh ./scripts/install.sh; sh ./scripts/obs_pipeline.sh 创建训练作业后，会在节点机器中使用基础镜像创建docker容器，并在容器内进行分布式训练。而install.sh
双击“数据标注”节点，单击实例详情按钮，打开数据标注页面。 文本分类的数据标注 在“标注对象列表”中选中待标注文本，然后单击“标签集”区域中不同标签进行标注。 一个文本对象只能添加一个标签。 确认文件标签后，单击右下方“保存当前页”，完成标注。 当“标注对象列表”内容较多时，其区域下方将呈现翻页，请务必在本页完成
rts/user-job-dir/AscendSpeed; sh ./scripts/install.sh; sh ./scripts/obs_pipeline.sh 创建训练作业后，会在节点机器中使用基础镜像创建docker容器，并在容器内进行分布式训练。而install.sh
训练的权重转换说明 以llama2-13b举例，使用训练作业运行obs_pipeline.sh脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
data.OBSPlaceholder(name="obs_placeholder_name", object_type="directory")),# CreateDatasetStep的输入，数据在运行时进行配置；data字段也可使用wf.data.OBSPath(obs_pat
查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务（Object Storage Service，简称OBS）存储输入输出数据、运行代码和模型文件，实现安全、高可靠和低成本的存储需求。因此，在使用ModelArts之前通常先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。
run”，驱动包名称为“Ascend-hdk-型号-npu-driver_版本号_linux-aarch64.run”，商用版是权限受控，仅华为工程师和渠道用户有权限下载，下载地址请见固件驱动包下载链接。 arch cat /etc/os-release 图5 查看机器操作系统版本及架构
根据部署在线服务生成的服务对象删除服务。 根据查询服务对象列表返回的服务对象删除服务。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1：根据部署在线服务生成的服务对象删除服务 1 2 3
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后，可创建训练作业，在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行 install.sh文件，来安装依赖以及下载完整代码。
训练权重转换说明 以 llama2-13b 举例，使用训练作业运行 obs_pipeline.sh 脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行训练任务。若未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
