检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Notebook停止或者重启后，“/cache”下的文件还存在么？如何避免重启？ “/cache”目录下存储的是临时文件，在Notebook实例停止或重启后，不会被保存。存储在“/home/ma-user/work”目录下的数据，在Notebook实例停止或重启后，会被保留。 为避免重启，请勿在开发环境中
在Notebook列表中，对于要保存的Notebook实例，单击右侧“操作”列中的“更多 > 保存镜像”，进入“保存镜像”对话框。 图1 保存镜像 在保存镜像对话框中，设置组织、镜像名称、镜像版本和描述信息。单击“确定”保存镜像。 在“组织”下拉框中选择一个组织。如果没有组织，可以单击右侧的
镜像状态。枚举值如下： INIT：初始化。 CREATING：镜像保存中，此时训练作业不可用。 CREATE_FAILED：镜像保存失败。 ACTIVE：镜像保存成功，保存的镜像可以在SWR控制台查看，同时可以基于保存的镜像创建训练作业。 message String 镜像创建的时间，UTC毫秒。
训练存储加速的代码样例（PyTorch版reload ckpt） PyTorch模型保存有两种方式。 仅保存模型参数 state_dict = model.state_dict() torch.save(state_dict, path) 保存整个Model（不推荐） torch.save(model,
'home/ma-user/work/SR/RDN_train_base'] 图1 运行代码报错 原因分析 根据报错提示，需要排查是否将大量数据被保存在“/tmp”中。 处理方法 进入到“Terminal”界面。在“/tmp”目录下，执行命令du -sh *，查看该目录下的空间占用情况。
镜像状态。枚举值如下： INIT：初始化。 CREATING：镜像保存中，此时训练作业不可用。 CREATE_FAILED：镜像保存失败。 ACTIVE：镜像保存成功，保存的镜像可以在SWR控制台查看，同时可以基于保存的镜像创建训练作业。 message String 镜像创建的时间，UTC毫秒。
数建议设置为“data_url”，表示数据输入来源，也支持用户根据1的算法代码自定义代码参数。 模型训练结束后，训练模型以及相关输出信息需保存在OBS路径。“输出”数据默认配置为模型输出，代码参数为“train_url”，也支持用户根据1的算法代码自定义输出路径参数。 在创建训练作业时，填写输入路径和输出路径。
两个训练作业的模型都保存在容器相同的目录下是否有冲突？ ModelArts训练作业之间的存储目录相互不影响，每个环境之间彼此隔离，看不到其他作业的数据。 父主题： 查看作业详情
sh脚本 Step3 Notebook中保存镜像 Notebook实例状态必须为“运行中”才可以一键进行镜像保存。 在Notebook列表中，对于要保存的Notebook实例，单击右侧“操作”列中的“更多 > 保存镜像”，进入“保存镜像”对话框。 在保存镜像对话框中，设置组织、镜像名称、
出现错误。 原因分析 出现该问题的可能原因如下： 程序运行过程中，产生了core文件，core文件占满了"/"根目录空间。 本地数据、文件保存将"/cache"目录3.5T空间用完了。 云上训练磁盘空间一般指如下两个目录的磁盘空间： “/”根目录，是docker中配置项“base
如何使用pandas库处理OBS桶中的数据？ 参考下载OBS文件到Notebook中的指导，将OBS中的数据下载至Notebook本地处理。 参考pandas用户指南处理pandas数据。 父主题： 数据存储
libgoogle-glog-dev liblmdb-dev libatlas-base-dev librdmacm1 libcap2-bin libpq-dev mysql-common net-tools nginx openslide-tools openssh-client openssh-server
保存ckpt时超时报错 在多节点集群训练完成后，只有部分节点会保存权重，而其他节点会一直在等待通信。当等待时间超过36分钟时，会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40
保存ckpt时超时报错 在多节点集群训练完成后，只有部分节点会保存权重，而其他节点会一直在等待通信。当等待时间超过36分钟时，会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40
保存ckpt时超时报错 在多节点集群训练完成后，只有部分节点会保存权重，而其他节点会一直在等待通信。当等待时间超过36分钟时，会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40
保存ckpt时超时报错 在多节点集群训练完成后，只有部分节点会保存权重，而其他节点会一直在等待通信。当等待时间超过36分钟时，会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40
ptq_config) 您还可以使用save_pretrain()方法在本地保存您的量化模型。如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。 quantized_model.save_pretrained
Library（DALI）等工具提高数据增强的速度。 模型保存不要太频繁：模型保存操作一般会阻塞训练，如果模型较大，并且较频繁地进行保存，就会影响GPU/NPU利用率。同理，其他非GPU/NPU操作尽量不要阻塞训练主进程太多的时间，如日志打印，保存训练指标信息等。 父主题： 管理模型训练作业
保存ckpt时超时报错 在多节点集群训练完成后，只有部分节点会保存权重，而其他节点会一直在等待通信。当等待时间超过36分钟时，会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40
保存ckpt时超时报错 在多节点集群训练完成后，只有部分节点会保存权重，而其他节点会一直在等待通信。当等待时间超过36分钟时，会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
