检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
记住使用Dockerfile创建的新镜像名称, 后续使用 ${dockerfile_image_name} 进行表示。 步骤四 在节点机器中Docker登录 在SWR中单击右上角的“登录指令”,然后在跳出的登录指定窗口,单击复制临时登录指令。 图1 复制登录指令 由于使用的容器引擎是conta
记住使用Dockerfile创建的新镜像名称, 后续使用 ${dockerfile_image_name} 进行表示。 步骤四 在节点机器中Docker登录 在SWR中单击右上角的“登录指令”,然后在跳出的登录指定窗口,单击复制临时登录指令。 图1 复制登录指令 由于使用的容器引擎是conta
记住使用Dockerfile创建的新镜像名称, 后续使用 ${dockerfile_image_name} 进行表示。 步骤四 在节点机器中Docker登录 在SWR中单击右上角的“登录指令”,然后在跳出的登录指定窗口,单击复制临时登录指令。 图1 复制登录指令 由于使用的容器引擎是conta
表示读取资源池镜像中的默认值。 绑核:开启CPU绑核表示工作负载实例独占CPU,可以提升应用性能(比如训练作业、推理任务性能),减少应用的调度延迟,适用于对CPU缓存和调度延迟敏感的场景。关闭绑核表示关闭工作负载实例独占CPU的功能,优点是CPU共享池可分配的核数较多。也可关闭系
如何删除预置镜像中不需要的工具 预置的基础镜像中存在cpp、gcc等调试/编译工具,如果您不需要使用这些工具,可以通过运行脚本删除。 创建一个run.sh脚本文件,文件中的代码内容如下。然后在容器中执行sh run.sh命令运行脚本。 #!/bin/bash delete_sniff_compiler()
本小节介绍Notebook开发环境、训练任务实例的目录挂载情况(以下挂载点在保存镜像的时候不会保存)。详情如下: Notebook 表1 Notebook挂载点介绍 挂载点 是否只读 备注 /home/ma-user/work/ 否 客户数据的持久化目录。 /data 否 客户PFS的挂载目录。 /cache
并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。
使用华为云主账号创建一个开发者用户组user_group,将开发者账号加入用户组user_group中。具体操作请参见Step1 创建用户组并加入用户。 创建自定义策略。 使用华为云主账号登录控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入IAM服务。 在统一身份认证服务控制台的左侧菜单栏中,选择“权限管理>
CodeLab 如何将git clone的py文件变为ipynb文件 Notebook里面运行的实例,如果重启,数据集会丢失么? Jupyter可以安装插件吗? 是否支持在CodeLab中使用昇腾的卡进行训练? 如何在CodeLab上安装依赖? 父主题: Standard Notebook
当“Specifications”选择专属资源池规格时,显示专属资源池的可用实例数和总实例数,用户选择“Compute Nodes”的个数不要超过可用实例数。 图2 配置训练作业参数(公共资源池) 图3 配置训练作业参数(专属资源池) 图4 配置训练作业参数(自定义镜像) 参数填写完成后,单击“Apply
906版本,请参考表1获取配套版本的软件包,请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite DevServer。 镜像适配的Cann版本是cann_8.0.rc2。 确保容器可以访问公网。 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1
oup用户,请参考在ECS中创建ma-user和ma-group。 已经安装obsutil,请参考下载和安装obsutil。 参考线下容器镜像构建及调试章节,构建容器镜像并调试,镜像构建及调试与单机单卡相同。 上传镜像,参考单机单卡训练的上传镜像章节操作。 准备数据 登录coco
从本地上传数据到ModelArts数据集 前提条件 已存在创建完成的数据集。 创建一个空的OBS桶,OBS桶与ModelArts在同一区域,并确保用户具有OBS桶的操作权限。 本地上传 文件型和表格型数据均支持从本地上传。从本地上传的数据存储在OBS目录中,请先提前创建OBS桶。 从本地上传的数据单次最多支持100个文件同时上传,总大小不超过5GB。
Standard Notebook 规格限制 文件上传下载 数据存储 环境配置相关 Notebook实例常见错误 代码运行常见错误 CodeLab PyCharm Toolkit使用 VS Code使用技巧 VS Code连接开发环境失败常见问题 在Notebook中使用自定义镜像常见问题
运行训练代码,出现dead kernel,并导致实例崩溃 如何解决训练过程中出现的cudaCheckError错误? 开发环境提示空间不足,如何解决? 如何处理使用opencv.imshow造成的内核崩溃? 使用Windows下生成的文本文件时报错找不到路径? JupyterLab中文件保存失败,如何解决?
flavors Array of NotebookFlavor objects 支持切换的规格列表。 pages Integer 总的页数。 size Integer 每一页的数量。 total Long 总的记录数量。 表4 NotebookFlavor 参数 参数类型 描述 arch String
本案例仅支持在专属资源池上运行,确保专属资源池可以访问公网。 文档更新内容 6.3.909版本相对于6.3.908版本新增如下内容: 文档中新增对Llama3.1的适配。 ModelLink框架和MindSpeed已升级到最新版本。 支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号
需修改finetune_onevision_ascend.sh中的数据集和模型路径为步骤七和步骤八的下载完成后的路径 路径修改说明: 执行训练脚本前,需修改pretrain_clip_ascend.sh中的数据集和模型路径为步骤七和步骤八的下载完成后的路径,如图1所示; 执行训练脚本前,修改fin
术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后,检查NPU卡状态。运行如下命令,返回NPU设备信息。
S服务的授权,需要为用户授予OBS的系统权限。子用户的IAM权限是由其主用户设置的,如果主用户没有赋予OBS的putObjectAcl权限即会导致创建模型构建失败。 处理方法 了解ModelArts依赖的OBS权限自定义策略,请参见ModelArts依赖的OBS权限自定义策略样例。