检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大量数据文件，训练过程中读取数据效率低？ 当数据集存在较多数据文件（即海量小文件），数据存储在OBS中，训练过程需反复从OBS中读取文件，导致训练过程一直在等待文件读取，效率低。 解决方法 建议将海量小文件，在本地压缩打包。例如打包成.zip格式。
') 将“test.py”文件上传至OBS中，则该文件存储位置为“/bucket-name/code/test.py”。
表2 Query参数 参数 是否必选 参数类型 描述 delete_source 否 Boolean 是否删除样本源文件。可选值如下： true：删除样本源文件 false：不删除样本源文件（默认值） label_type 否 Integer 标签类型。
单机作业时，每个任务内运行N次启动文件；N为任务的卡数；例如单机1卡，则worker-0任务的启动文件会被运行1次；单机8卡，worker-0任务的启动文件会被运行8次。因此需要避免在启动文件中进行端口监听。
使用自定义镜像创建训练作业找不到启动文件 问题现象 使用自定义镜像创建训练作业，出现如下报错，提示找不到运行的主文件：no such file or directory。 原因分析 根据报错提示可以判断是运行命令的启动文件目录不正确导致运行失败。
从Manifest文件导入数据到数据集 前提条件 已存在创建完成的数据集。 准备需要导入的数据，具体可参见从Manifest文件导入规范说明。 需导入的数据，已存储至OBS中。Manifest文件也需要存储至OBS。
给子账号配置文件夹级的SFS Turbo访问权限 场景描述 本文介绍如何配置文件夹级的SFS Turbo访问权限，实现在ModelArts中访问挂载的SFS Turbo时，只允许子账号访问特定的SFS Turbo文件夹内容。
解决方法 可以在Notebook中转换文件格式为Linux格式。 shell语言： dos2unix 文件名 父主题： 代码运行常见错误
训练专属资源池如何与SFS弹性文件系统配置对等链接？ 配置训练专属资源池与SFS弹性文件系统的对等链接，需要资源池打通VPC，使得资源池与SFS弹性文件系统所配置的VPC相同。配置完成后，在创建训练作业时，就可以看到SFS的配置选项。 打通VPC步骤请参考打通VPC。
导入模型时，模型配置文件中的安装包依赖参数如何编写？ 问题描述 从OBS中或者从容器镜像中导入模型时，开发者需要编写模型配置文件。模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口。配置文件为JSON格式。
新建软链接： # ln -s 源目录/文件 目标目录/文件 # 例如 ln -s /mnt/sfs_turbo/data/coco /coco 删除软链接： # rm 目标目录/文件 rm /coco 父主题： FAQ
训练作业的启动文件如何获取训练作业中的参数？ 训练作业参数有两种来源，包括后台自动生成的参数和用户手动输入的参数。
下载多个文件 下载文件到指定路径 下载单个AI Gallery仓库 准备工作 获取“repo_id”和待下载的文件名。
若看到如下类似的堆栈，可看到是因为用户工作目录下的“code.py”和创建kernel依赖的import code文件名冲突： 重命名当前工作目录下和创建kernel依赖的库文件冲突的文件名称。 常见容易冲突的文件：code.py、select.py。 父主题： 代码运行故障
训练作业中使用os.system('cd xxx')无法进入相应的文件夹？
针对您开发并训练完成的模型，需要提供对应的模型配置文件，此文件需遵守ModelArts的填写规范，详情请参见模型配置文件编写说明。编写完成后，需将此文件上传至OBS指定目录下。 使用容器化部署，导入的元模型有大小限制，详情请参见导入AI应用对于镜像大小限制。
针对从OBS导入的元模型，ModelArts要求根据模型包规范，编写推理代码和配置文件，并将推理代码和配置文件放置元模型存储的“model”文件夹下。如果您选择的目录下不符合模型包规范，将无法创建AI应用。
文件的上传下载详细操作请参考如何在Notebook中上传下载OBS文件？。 父主题： 文件上传下载
python 然后在本地VS Code的Terminal中使用ModelArts SDK上传本地文件至OBS，详情请参考文件传输进行OBS传输操作。 上传OBS文件到Notebook。
如果勾选动态加载，则模型文件和运行时依赖仅在实际部署时拉取。当单个模型文件大小超过5GB时，必须配置“动态加载”。 “AI引擎” 元模型使用的推理引擎，选择训练作业后会自动匹配。 “推理代码” 推理代码自定义AI应用的推理处理逻辑。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
