检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录ModelArts管理控制台，在左侧导航栏选择“开发空间>自动学习”，进入自动学习总览页面。 在自动学习列表上方的搜索框中，根据您需要的属性类型，例如，名称、状态、项目类型、当前节点、标签等，过滤出相应的工作流。
集群所需的ECS实例数、内存大小、CPU核数和EVS硬盘大小资源会超出华为云默认提供的资源配额，因此需要申请扩大配额。解决方法请参见申请扩大资源配额。 图3 报错信息（1） 图4 报错信息（2） 资源售罄或容量不足，导致创建失败？
请减少数据量、减少batch_size，优化代码，合理聚合、复制数据。 请注意，数据文件大小不等于内存占用大小，需仔细评估内存使用情况。 退出码139 请排查安装包的版本，可能存在包冲突的问题。 排查办法 根据错误信息判断，报错原因来源于用户代码。
用户代码问题，出现了内存越界、非法访问内存空间的情况。 未知系统问题导致，建议先尝试重建作业，重建后仍然失败，建议提工单定位。
修改容器引擎空间大小 扩容资源池时，可以设置新建节点的容器引擎空间大小。此操作会导致资源池内该规格下节点的dockerBaseSize不一致，可能会使得部分任务在不同节点的运行情况不一致，请谨慎操作。存量节点不支持修改容器引擎空间大小。 修改容器引擎类型。
登录ModelArts管理控制台，在左侧导航栏选择“开发空间>自动学习”，进入自动学习总览页面。 在自动学习列表上方的搜索框中，根据您需要的属性类型，例如，名称、状态、项目类型、当前节点、标签等，过滤出相应的工作流。
创建项目 登录ModelArts管理控制台，在左侧导航栏单击“开发空间>自动学习”，进入新版自动学习页面。 在您需要的自动学习项目列表中，单击“创建项目”，进入创建自动学习项目界面。 在创建自动学习项目页面，参考表1填写相应参数。
登录ModelArts管理控制台，在左侧导航栏选择“开发空间>自动学习”，进入自动学习总览页面。 在自动学习列表上方的搜索框中，根据您需要的属性类型，例如，名称、状态、项目类型、当前节点、标签等，过滤出相应的工作流。
在ModelArts管理控制台，左侧菜单栏单击“开发空间>Workflow”。进入Workflow列表页。 在列表页单击工作流名称，进入工作流详情页。 在工作流详情页，单击左上角编辑按钮。
当容错检查正常通过时，可以减少运行故障上报问题。 容错检查失败时，会打印检查失败的日志。您可以通过在日志中搜索“item”关键字查看失败信息。 如果作业重启次数没有达到设定的次数，则会自动做重新下发作业。
处理方法 减少预处理shuffle操作。 dataset = dataset.shuffle(buffer_size=x) 关闭数据预处理开关，可能会影响性能。
（可选）工作空间配置 ModelArts支持设置子账号的细粒度权限、不同工作空间之间资源隔离。ModelArts工作空间帮您实现项目资源隔离、多项目分开结算等功能。
Lite Cluster资源池配置管理 在资源池详情页面，单击“配置管理”，在配置管理页面，可以修改设置监控的命名空间、修改集群配置，配置镜像预热信息。 单击监控的图标，可以开启或关闭监控信息，并设置监控的命名空间。
适用计费项 计算资源 计算资源、云硬盘 适用资源池 专属资源池 公共资源池、专属资源池 适用功能模块 Standard自动学习、Workflow、Notebook、模型训练、模型部署 Lite Cluster Lite Server Standard自动学习、Workflow、Notebook
在开通工作空间后，系统会默认为您创建一个“default”空间，您之前所创建的所有资源，均在该空间下。当您创建新的工作空间之后，相当于您拥有了一个新的“ModelArts分身”，您可以通过菜单栏的左上角进行工作空间的切换，不同工作空间中的工作互不影响。
资源规格要求： 硬盘空间：至少200GB。 昇腾资源规格：可以申请Ascend: 1* ascend-snt9b(32GB)或Ascend: 1* ascend-snt9b(64GB)规格。请按需选择需要的规格，64GB规格的推理耗时更短。
检查使用的资源是否为CPU，CPU的“/cache”与代码目录共用10G，可能是空间不足导致，可在代码中使用如下命令查看磁盘大小。 os.system('df -hT') 磁盘空间满足，请执行5。 磁盘空间不足，请您使用GPU资源。
在开通工作空间后，系统会默认为您创建一个“default”空间，您之前所创建的所有资源，均在该空间下。当您创建新的工作空间之后，相当于您拥有了一个新的“ModelArts分身”，您可以通过菜单栏的左上角进行工作空间的切换，不同工作空间中的工作互不影响。
附录：训练常见问题 问题1：在训练过程中遇到NPU out of memory 解决方法： 容器内执行以下命令，指定NPU内存分配策略的环境变量，开启动态内存分配，即在需要时动态分配内存，可以提高内存利用率，减少OOM错误的发生。
workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
