检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在创建OBS桶创建的桶下创建文件夹用以存放数据，例如在桶standard-llama2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。
Notebook Cache盘告警上报 创建Notebook时，可以根据业务数据量的大小选择CPU、GPU或者Ascend资源，对GPU或Ascend类型的资源，ModelArts会挂载硬盘至“/cache”目录，用户可以使用此目录来储存临时文件。
父主题： 资源管理
上传自定义数据到指定目录 将下载的原始数据存放在{work_dir}/llm_train/AscendFactory/data目录下。
利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。
利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。
首先保证对应目录存在，然后输入对应指令即可。命令参考： mkdir -p /mnt/sfs_turbo mount -t nfs -o vers=3,nolock 192.168.0.169:/ /mnt/sfs_turbo 父主题： 基本配置
建议下载数据和中间数据都存到这个目录中，防止因硬盘占满导致任务失败。 父主题： FAQ
文件名或目录：根据文件名称或者文件存储目录筛选。 标注人：选择执行标注操作的账号名称。 样本属性：表示自动分组生成的属性。只有启用了自动分组任务后才可使用此筛选条件。 数据属性：筛选数据的来源，选择“全部”或“推理”。
在创建OBS桶创建的桶下创建文件夹用以存放数据，例如在桶standard-llama2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。
步骤总览 单机单卡 资源购买： 购买对象存储服务OBS 购买容器镜像服务SWR 创建网络 购买ModelArts专属资源池 基本配置： 权限配置 obsutils安装和配置 （可选）工作空间配置 训练： 线下容器镜像构建及调试 上传镜像 上传数据和算法至OBS（首次使用时需要） 使用
从MRS导入数据到ModelArts数据集 ModelArts支持从MRS服务中导入存储在HDFS上的csv格式的数据，首先需要选择已有的MRS集群，并从HDFS文件列表选择文件名称或所在目录，导入文件的列数需与数据集schema一致。
利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。
“输出路径”不能与“保存路径”为同一路径，且“输出路径”不能是“保存路径”的子目录。 图1 导出新数据集 数据导出成功后，您可以前往您设置的保存路径，查看到存储的数据。当导出方式选择为新数据集时，在导出成功后，您可以前往“数据集”列表中，查看到新的数据集。
父主题： 资源管理
导入后，导入目录下的数据会复制至数据集的数据源路径下。 OBS：又分为从OBS目录或从Manifest文件两种导入方式，需要将导入的数据或Manifest文件提前存储至OBS目录中。 本地上传：将本地数据直接通过Internet上传至OBS指定目录后，再导入数据集。
父主题： 资源管理
数据标注状态选择“已标注”，您需要保证目录或manifest文件满足相应的格式规范，否则可能存在导入失败的情况。 父主题： 从OBS导入数据到ModelArts数据集
从OBS导入数据到ModelArts数据集 从OBS导入数据到数据集场景介绍 从OBS目录导入数据到数据集 从Manifest文件导入数据到数据集 从OBS目录导入数据规范说明 从Manifest文件导入规范说明 父主题： 导入数据到ModelArts数据集
本测试镜像为bert_pretrain_mindspore:v1，已经把测试数据和代码打进镜像中。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
