检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS管理概述 ModelArts SDK 1.1.3支持对OBS进行管理,主要涵盖上传下载文件和文件夹。具体包括如下操作: 上传文件至OBS 上传文件夹至OBS 从OBS下载文件 从OBS下载文件夹 父主题: OBS管理
字段。 log_file_list String 训练作业的日志文件名。单机作业日志仅有一个文件,分布式作业日志有多个文件。 请求示例 如下以获取“job_id”为10,“version_id”为10的作业日志文件为例。 GET https://endpoint/v1/{p
使用moxing适配OBS路径,pandas读取文件报错 问题现象 使用moxing适配OBS路径,然后用较高版本的pandas读取OBS文件报出如下错误: 1.‘can't decode byte xxx in position xxx’ 2.‘OSError:File isn't
追加授权 步骤5:创建虚拟私有云 创建虚拟私有云需要登录管理员账号,IP地址段请根据现网情况合理规划。 登录管理控制台。 在左侧服务列表中,单击“网络 > 虚拟私有云 VPC”,进入虚拟私有云页面。 单击右上角“创建虚拟私有云”后,根据界面提示配置虚拟私有云参数(参数介绍可参考此处),然后单击“立即创建”。
d214是commit号。 复制Open-clip源码包到容器/home/ma-user目录下。 docker cp open_clip open-clip:/home/ma-user/ 修改文件夹权限(注意:此处需要重新启动一个终端,使用root用户登录容器,修改文件夹权限,修改完后关闭这个终端。)
在ModelArts中如何查看OBS目录下的所有文件? 在使用Notebook或训练作业时,需要查看目录下的所有文件,您可以通过如下方式实现: 通过OBS管理控制台进行查看。 使用当前账户登录OBS管理控制台,去查找对应的OBS桶、文件夹、文件。 通过接口判断路径是否存在。在已有的No
么要求? 数据集要求 文件规范:名称由以字母数字及中划线下划线组成,以'.csv'结尾,且文件不能直接放在OBS桶的根目录下,应该存放在OBS桶的文件夹内。如:“/obs-xxx/data/input.csv”。 文件内容:文件保存为“csv”文件格式,文件内容以换行符(即字符“
recursive=True) 其中,“get_size”为获取文件或文件夹的大小。“recursive=True”表示类型为文件夹,“True”表示是文件夹,“False”为文件。 如果输出结果为一致,表示文件夹复制已完毕。如果输出结果不一致,表示复制未结束。 父主题: 编写训练代码
在开发环境Notebook实例中开启MindInsight/TensorBoard可视化工具,且需要访问的是OBS并行文件系统时,需要配置左侧的权限。 表12 训练作业基础委托授权 业务场景 依赖的服务 委托授权项 说明 训练作业访问OBS文件。 OBS obs:bucket:HeadBucket obs:buck
EFS专属存储盘uri,只有当category为EFS,同时ownership为DEDICATED时必填。 登录弹性文件服务控制台,在文件系统列表中,单击文件系统名称进入详情页。其中,“共享路径”即为此参数的参数值。 id 否 String EFS专属存储盘ID,只有当category为EFS
建议用户新建一个文件夹(例如:tb_logs),将tensorboard的日志文件(例如:tb.events)放到新建的文件夹下,然后执行tensorboard命令。示例命令如下: mkdir -p ./tb_logs mv tb.events ./tb_logs tensorboard
bash prepare.sh Step5 下载权重文件 建议手动下载所需的权重文件,保证文件权限能被ma-user用户使用和修改,在/home/ma-user/OpenSora1.2/目录下进行操作。 创建文件夹存放不同的权重文件。 mkdir weights 下载 OpenSora-VAE-v1
错误截图: 报错原因: 训练时transformers版本要求为4.45.0,训练完成后保存的tokenizer.json文件中的“merges”时保存的是拆开的列表不是字符串,导致推理异常 解决措施,以下两种方法任选其一: ①更新transformes和tokenizers版本
Notebook停止或者重启后,“/cache”下的文件还存在么?如何避免重启? “/cache”目录下存储的是临时文件,在Notebook实例停止或重启后,不会被保存。存储在“/home/ma-user/work”目录下的数据,在Notebook实例停止或重启后,会被保留。 为
l_name} 表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID label_name 是 String 标签名称。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数
Standard平台会自动运行训练作业的启动文件。 Ascend-Powered-Engine框架的启动文件的默认启动方式如下: 每个训练任务的启动文件的运行次数取决于任务卡数,即在训练作业运行时,有N个任务卡数训练任务内就会运行N次启动文件。例如,单机1卡,则worker-0任务的启动文件会被运行1次;单
获取插件代码包ascendcloud-aigc-6.3.902-*.tar.gz文件。获取路径:Support网站。 如果没有软件下载权限,请联系您所在企业的华为方技术支持下载获取。 ascendcloud-aigc-6.3.902-*.tar.gz文件名中的*表示具体的时间戳,以包名的实际时间为准。 Step1
set_info.json 文件。 Step2 修改训练yaml文件配置 LlamaFactroy配置文件为Yaml文件,启动训练前需修改Yaml配置文件,Yaml配置文件在代码目录下的{work_dir}/llm_train/LLaMAFactory/demo.yaml。修改详细步骤如下所示。
taset_info.json 文件。 Step2 修改训练yaml文件配置 LlamaFactroy配置文件为yaml文件,启动训练前需修改yaml配置文件,yaml配置文件在代码目录下的{work_dir}/llm_train/LLaMAFactory/demo.yaml。修改详细步骤如下所示:
info.json 文件。 步骤二 修改训练yaml文件配置 LlamaFactroy配置文件为Yaml文件,启动训练前需修改Yaml配置文件,Yaml配置文件在代码目录下的{work_dir}/llm_train/LLaMAFactory/demo.yaml。修改详细步骤如下所示。