检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题现象 原因分析 原因分析一:实例配置的白名单IP与本地网络访问IP不符。 解决方法:请修改白名单为本地网络访问IP或者去掉白名单配置。 原因分析二:本地网络不通。 解决方法:检查本地网络以及网络限制。 父主题: VS Code连接开发环境失败故障处理
百分比(Percent) 0~100% 磁盘可用容量 该指标用于统计测量对象可用的磁盘容量。 MB ≥0 磁盘容量 该指标用于统计测量对象磁盘总容量。 MB ≥0 磁盘利用率 该指标用于统计测量对象的磁盘使用率。
报错500 Notebook JupyterLab页面无法打开,报错500,可能是工作目录work下的磁盘空间满了,请参考Notebook提示磁盘空间已满排查并清理磁盘空间。
可部署为本地服务。
sh diffusers_sdxl_finetune_train.sh 训练执行脚本中配置了保存checkpoint的频率,每500steps保存一次,如果磁盘空间较小,这个值可以改大到5000,避免磁盘空间写满,导致训练失败终止。
自动迁移的原理是:通过注入的方式将当前Python运行环境中,运行时的torch.cuda等需要适配的接口和操作都映射成为torch.npu对应的接口。所以理论上常见场景下的代码不需要额外手工适配就可以运行到昇腾设备上。 # 自动映射cuda API到NPU的代码。
表1 ModelArts Lite涉及的资源配额 服务 资源类型 ECS资源类型 ECS实例数 CPU核心数 RAM容量(MB) 弹性公网IP EIP资源 伸缩带宽策略 云硬盘EVS SFS资源 磁盘数 磁盘容量(GB) 快照数 弹性文件服务SFS资源 容量配额
参考 常见的磁盘空间不足的问题和解决办法章节处理。 父主题: 云上迁移适配故障
根据实际使用量设置磁盘规格。磁盘规格默认5GB。磁盘规格的最大值请以实际界面显示为准。 从Notebook实例创建成功开始,直至实例删除成功,磁盘每GB按照规定费用收费。 选择“弹性文件服务SFS”作为存储位置。
Standard开发环境 将Notebook的Conda环境迁移到SFS磁盘 使用ModelArts VSCode插件调试训练ResNet50图像分类模型
检查使用的资源是否为CPU,CPU的“/cache”与代码目录共用10G,可能是空间不足导致,可在代码中使用如下命令查看磁盘大小。 os.system('df -hT') 磁盘空间满足,请执行5。 磁盘空间不足,请您使用GPU资源。
像本地运行代码一样,直接单击运行按钮运行代码即可,此时虽然是在本地IDE单击的运行按钮,实际上运行的是云端开发环境里的代码,日志可以回显在本地的日志窗口。 图5 调试代码 也可以单击右上角的Run/Debug Configuration来设置运行的参数。
、代码上传、提交训练作业、将训练日志获取到本地展示等,用户只需要专注于本地的代码开发即可。
VS Code手动连接Notebook 本地IDE环境支持PyCharm和VS Code。通过简单配置,即可用本地IDE远程连接到ModelArts的Notebook开发环境中,调试和运行代码。 本章节介绍基于VS Code环境访问Notebook的方式。
图6 停止连接Notebook Step6 同步上传本地文件至Notebook 本地文件中的代码直接复制至本地IDE中即可,本地IDE中会自动同步至云上开发环境。
计费项:EVS存储费用 假设用户于2023年4月1日10:00:00创建了一个Notebook实例,使用专属资源池和磁盘规格为5GB的运行盘,并于2023年4月2日10:00:00将存储到EVS中的数据删除。
表11 DiskResponse 参数 参数类型 描述 size Integer 磁盘大小。 unit String 磁盘大小单位。 请求示例 如下以查询北京四训练作业所有的CPU公共资源规格为例。
通过添加DNAT规则,则可以通过映射方式为VPC内的Server提供SSH访问服务,一个Server的一个端口对应一条DNAT规则,一个端口只能映射到一个EIP,不能映射到多个EIP。 在DNAT规则页签下,单击“添加DNAT规则”。
无剩余空间 复制数据至容器中空间不足 Tensorflow多节点作业下载数据到/cache显示No space left 日志文件的大小达到限制 日志提示"write line error" 日志提示“No space left on device” OOM导致训练作业失败 常见的磁盘空间不足的问题和解决办法
实现在本地IDE中进行训练配置、资源监控、作业管理、代码管理等动作。