正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启动容器时默认用户为ma-user用户,使用其他属组如root用户上传的数据和文件等,可能会存在权限不足的问题,因此需要执行如下命令统一文件属主。
由于需要转换较大内存的模型文件,因此大小要求200g及以上。 修改目录权限,上传代码和数据到宿主机时使用的是root用户,如用ma-user用户训练,此处需要执行如下命令统一文件权限。
文件权限不足 该问题可能为自定义镜像的用户与作业容器的用户不同导致的。
模型包规范 模型包规范介绍 模型配置文件编写说明 模型推理代码编写说明 父主题: 推理规范说明
可选值如下: true:发布时将列名写到CSV文件的第一行(默认值) false:发布时不将列名写到CSV文件的第一行 响应参数 状态码: 201 表3 响应Body参数 参数 参数类型 描述 version_id String 数据集版本ID。 请求示例 创建数据集标注版本。
/xxx/xxxx: Permission denied cp: cannot stat '': No such file or directory 原因分析 出现该问题的可能原因如下: [Errno 13]Permission denied: '/xxx/xxxx' 上传数据时文件所属与文件权限未修改
宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录,目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 容器不能挂载/home/ma-user目录,此目录为ma-user用户家目录。
单击界面右上角的“标注列表”,在“当前文件标签”的详情页将呈现当前视频带标注的时间点。 图3 当前文件标签信息 单击页面左上角“返回数据标注预览”,页面将自动返回标注作业详情页面,同时,标注好的视频将呈现在“已标注”页签下。 常见问题 Q:视频数据集无法显示或者无法播放视频?
训练的权重文件保存在此路径下。非必填,默认值为:/home/ma-user/ws 父主题: SFT全参微调
如:文本文件是“abc.txt”,标签文件是“abc_result.txt”。 1:默认值,标签和文本在一个文件内,以分隔符分离。文本与标签,标签与标签之间的分隔符可通过text_sample_separator和text_label_separator指定。
准备模型训练代码 预置框架启动文件的启动流程说明 开发用于预置框架训练的代码 开发用于自定义镜像训练的代码 父主题: 使用ModelArts Standard训练模型
/obsutil cp ${数据集所在的obs文件夹路径} ${SFS文件夹路径} -f -r # 例如 .
查看节点的yaml文件里“cce.kubectl.kubernetes.io/ascend-rank-table”字段是否有值。 如图所示,表示有值,节点已开启topo文件和ranktable文件的下发。否则,联系技术支持处理。
ModelArts专属资源池 基本配置: 权限配置 obsutils安装和配置 (可选)工作空间配置 训练: 线下容器镜像构建及调试 上传镜像 上传数据和算法至OBS(首次使用时需要) 使用Notebook进行代码调试 创建训练任务 单机多卡 资源购买: 购买虚拟私有云VPC 购买弹性文件服务
with_column_header Boolean 文件中首行是否是列名,用于表格数据集。可选值如下: true:文件首行为列名 false:文件首行不为列名 表5 SchemaMap 参数 参数类型 描述 dest_name String 目的方的列名。
使用窍门 创建项目时,如何快速创建OBS桶及文件夹? 自动学习生成的模型,存储在哪里?支持哪些其他操作? 父主题: 使用自动学习实现零代码AI开发
750,不能为其他权限; 用户自定义镜像使用远程SSH功能,OpenSSH版本要兼容或高于8.0; 用户制作的自定义镜像,在本地执行docker run启动,无法正常运行; 用户自行安装了Jupyterlab服务导致冲突的,需要用户本地使用Jupyterlab命令罗列出相关的静态文件路径
动态batch 在模型转换阶段通过--configFile参数指定配置文件,并且在配置文件中配置input_shape及dynamic_dims动态参数。
训练脚本说明 训练启动脚本说明和参数配置 训练数据集预处理说明 训练权重转换说明 训练tokenizer文件说明 父主题: 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导(6.3.907)
由于需要转换较大内存的模型文件,因此大小要求200g及以上。 修改目录权限,上传代码和数据到宿主机时使用的是root用户,如用ma-user用户训练,此处需要执行如下命令统一文件权限。