正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练代码中,如何获取依赖文件所在的路径? 由于用户本地开发的代码需要上传至ModelArts后台,训练代码中涉及到依赖文件的路径时,用户设置有误的场景较多。因此推荐通用的解决方案:使用os接口得到依赖文件的绝对路径,避免报错。 以下示例展示如何通过os接口获得其他文件夹下的依赖文件路径。 文件目录结构:
、rm、ppo、dpo],pt代表预训练,sft代表指令监督微调,rm代表奖励模型训练,ppo代表PPO训练,dpo代表DPO训练。 finetuning_type full 用于指定微调策略类型,可选择值【full、lora】如果设置为"full",则对整个模型进行微调。这意味
导入AI应用提示单个模型文件超过5G限制 问题现象 在导入AI应用时,提示单个模型文件大小超过5G限制。 原因分析 在不使用动态加载的情况下,系统对单个模型文件的限制大小为5G,超过时无法进行导入。 处理方法 精简模型文件后,重新导入。 使用动态加载功能进行导入。 图1 使用动态加载
在ModelArts中如何查看OBS目录下的所有文件? 在使用Notebook或训练作业时,需要查看目录下的所有文件,您可以通过如下方式实现: 通过OBS管理控制台进行查看。 使用当前账户登录OBS管理控制台,去查找对应的OBS桶、文件夹、文件。 通过接口判断路径是否存在。在已有的No
on device”。 同一目录下创建较多文件,为了加快文件检索速度,内核会创建一个索引表,短时间内创建较多文件时,会导致索引表达到上限,进而报错。 触发条件和下面的因素有关: 文件名越长,文件数量的上限越小 blocksize越小,文件数量的上限越小。( blocksize,系统默认
Network:网络 metadata NeworkMetadata object 网络资源的metadata信息。 spec NetworkSpec object 网络资源的描述信息。 status NetworkStatus object 网络资源的状态信息。 表3 NeworkMetadata
Network:网络 metadata NeworkMetadata object 网络资源的metadata信息。 spec NetworkSpec object 网络资源的描述信息。 status NetworkStatus object 网络资源的状态信息。 表3 NeworkMetadata
建议用户新建一个文件夹(例如:tb_logs),将tensorboard的日志文件(例如:tb.events)放到新建的文件夹下,然后执行tensorboard命令。示例命令如下: mkdir -p ./tb_logs mv tb.events ./tb_logs tensorboard
获取训练作业日志的文件名 功能介绍 获取训练作业日志的文件名。 URI GET /v1/{project_id}/training-jobs/{job_id}/versions/{version_id}/log/file-names 参数说明如表1所示。 表1 参数说明 参数 是否必选
ModelArts通过OBS的API访问OBS中的文件,算内网还是公网? 在同一区域,ModelArts通过OBS的API访问OBS中的文件属于内网通信,不消耗公网流量费。 如果是通过互联网从OBS下载数据到本地,这时候会产生OBS公网流量费。OBS的详细计费说明可以参见计费项。
如果您创建的Notebook使用EVS存储实例时 单击“upload”后,数据将直接上传至当前实例容器中,即在“Terminal”中的“~/work”目录下。 父主题: 文件上传下载
使用moxing适配OBS路径,pandas读取文件报错 问题现象 使用moxing适配OBS路径,然后用较高版本的pandas读取OBS文件报出如下错误: 1.‘can't decode byte xxx in position xxx’ 2.‘OSError:File isn't
训练作业的启动文件如何获取训练作业中的参数? 训练作业参数有两种来源,包括后台自动生成的参数和用户手动输入的参数。具体获取方式如下: 创建训练作业时,“输入”支持配置训练的输入参数名称(一般设置为“data_url”),以及输入数据的存储位置,“输出”支持配置训练的输出参数名称(
建议用户新建一个文件夹(例如:tb_logs),将tensorboard的日志文件(例如:tb.events)放到新建的文件夹下,然后执行tensorboard命令。示例命令如下: mkdir -p ./tb_logs mv tb.events ./tb_logs tensorboard
复制完整资产名称 获取待上传的文件名 获取待上传的文件在服务器的绝对路径。 上传单个文件 在服务器执行如下命令,可以将服务器上的文件上传到AI Gallery仓库里面。 gallery-cli upload {repo_id} {文件名} 如下所示,表示将服务器上的文件“D:\workpl
创建AI应用时,OBS文件目录对应镜像里面的目录结构是什么样的? 问题现象 创建AI应用时,元模型来源指定的OBS目录下存放了自定义的文件和文件夹,都会拷贝到镜像中去。拷贝进去的路径是什么,怎么读取对应的文件或者文件夹里面的内容? 原因分析 通过OBS导入AI应用时,ModelA
打开VS Code的配置文件settings.json 在VS Code环境中执行Ctrl+Shift+P 搜Open Settings(JSON) 父主题: VS Code使用技巧
设置本地挂载目录,在“/data/”目录下输入一个文件夹名称,例如:demo。挂载时,后台自动会在Notebook容器的“/data/”目录下创建该文件夹,用来挂载OBS文件系统。 选择存放OBS并行文件系统下的文件夹,单击“确定”。 图1 动态挂载OBS并行文件系统 挂载成功后,可以在Notebook实例详情页查看到挂载结果。
大量数据文件,训练过程中读取数据效率低? 当数据集存在较多数据文件(即海量小文件),数据存储在OBS中,训练过程需反复从OBS中读取文件,导致训练过程一直在等待文件读取,效率低。 解决方法 建议将海量小文件,在本地压缩打包。例如打包成.zip格式。 将此压缩后的文件上传至OBS。
Notebook停止或者重启后,“/cache”下的文件还存在么?如何避免重启? “/cache”目录下存储的是临时文件,在Notebook实例停止或重启后,不会被保存。存储在“/home/ma-user/work”目录下的数据,在Notebook实例停止或重启后,会被保留。 为