检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
器存储Rootfs差异(详细请参考容器引擎空间分配),可能会导致镜像保存失败。 如使用的是专属资源池,可尝试在“专属资源池>弹性集群”页面按需调整容器引擎空间大小,具体步骤请参考扩缩容专属资源池的“修改容器引擎空间大小”。 如果问题仍未解决,请联系技术支持。 前提条件 Notebook实例状态为“运行中”。
器存储Rootfs差异(详细请参考容器引擎空间分配),可能会导致镜像保存失败。 如使用的是专属资源池,可尝试在“专属资源池>弹性集群”页面按需调整容器引擎空间大小,具体步骤请参考扩缩容专属资源池的“修改容器引擎空间大小”。 如果问题仍未解决,请联系技术支持。 前提条件 Notebook实例状态为“运行中”。
在您需要的自动学习项目列表中。例如选择预测分析项目,单击“创建项目”,进入创建自动学习项目界面。 在创建自动学习项目页面,计费模式默认“按需计费”,参考表1填写相应参数。 表1 参数说明 参数 说明 “名称” 项目的名称。 名称只能包含数字、字母、下划线和中划线,长度不能超过64位且不能为空。
对于首次使用ModelArts的新用户,请直接新增委托即可。一般用户新增普通用户权限即可满足使用要求。如果有精细化权限管理的需求,可以自定义权限按需设置。 IAM用户 如果已获得委托授权,则可以在权限管理页面中查看到已获得的委托授权信息。 如果未获得委托授权,当打开“访问授权”页面时,
对于首次使用ModelArts的新用户,请直接新增委托即可。一般用户新增普通用户权限即可满足使用要求。如果有精细化权限管理的需求,可以自定义权限按需设置。 IAM用户 如果已获得委托授权,则可以在权限管理页面中查看到已获得的委托授权信息。 如果未获得委托授权,当打开“访问授权”页面时,
CodeLab(JupyterLab),让AI探索&教学更简单 云原生Notebook,案例内容秒级接入与分享 Serverless化实例管理,资源自动回收 免费算力,规格按需切换 亮点特性1:远程开发 - 支持本地IDE远程访问Notebook Notebook提供了远程开发功能,通过开启SSH连接,用户本地I
在“注册镜像”页面,“镜像源”选择上一步上传到SWR自有镜像仓中的镜像名,作为模型推理使用的镜像,“架构”选择“ARM”,“类型”选中“ASCEDN”和“CPU”,按需选择规格,单击“立即注册”。 图7 选择已上传的镜像源 Step9 通过openssl创建SSL pem证书 在ECS中执行如下命令,会在当前目录生成cert
“精准型”:会额外使用未标注的样本做半监督训练,使得模型精度更高。 计算节点规格 即智能标注任务使用的资源规格。 说明: 智能标注创建时免费,但OBS存储会按需收费,请参考计费详情。为保证您的资源不浪费,标注作业与后续任务完成后,请及时清理您的OBS桶。 计算节点个数 默认为1,表示单机模式。目前仅支持此参数值。
在“注册镜像”页面,“镜像源”选择上一步上传到SWR自有镜像仓中的镜像名,作为模型推理使用的镜像,“架构”选择“ARM”,“类型”选中“ASCEDN”和“CPU”,按需选择规格,单击“立即注册”。 图6 选择已上传的镜像源 Step9 构建推理代码 提前在ECS中构建推理代码,用于后续在推理生产环境中部署推理服务。
成后选择“继续运行”,等待服务部署完成。 计算节点规格:华北-北京四可支持限时免费的规格,但每个用户仅允许创建一个基于此免费规格的实例。 按需计费规格,使用完之后请及时停止Workflow,避免产生不必要的费用。 测试推理服务:工作流运行完成后,在服务部署节点右侧单击“实例详情”
peed以及Megatron-LM等,这些三方库昇腾也做了类似PyTorch Adapter的适配插件库。您可以在Gitee的昇腾官方仓库按需使用插件库。部分三方库例如最新版本deepspeed已原生支持NPU,可以直接在昇腾设备上运行。 代码迁移基础知识 PyTorch 2.1
运行中。 分享到AI Gallery。 代码化参数插件的使用 代码参数化插件可以降低Notebook案例的复杂度,用户无需感知复杂的源码,按需调整参数快速进行案例复现、模型训练等。该插件可用于定制Notebook案例,适用于比赛、教学等场景。 仅对Code cell类型新增了Edit
更新WorkflowSchedule信息。 开发环境接口 表5 开发环境 类型 API 说明 开发环境实例管理 查询Notebook实例列表 可按需查询满足条件的开发环境实例列表。 创建Notebook实例 根据指定的实例规格、AI引擎镜像、存储等相关参数,创建一个开发环境实例。 查询Notebook实例详情
一段时间,根据您选择的数据量和资源不同,部署时间将耗时几分钟到几十分钟不等。 批量服务部署完成后,将立即启动,运行过程中将按照您选择的资源按需计费。 您可以前往批量服务列表,查看批量服务的基本情况。在批量服务列表中,刚部署的服务“状态”为“部署中”,当批量服务的“状态”变为“运行完成”时,表示服务部署完成。
TrainingJob(session).get_train_instance_types(session) # 返回的类型为list,可按需打印查看 print(spec_list) 专属池查询 # 运行中的专属资源池列表查询 pool_list = JobClient(session)
Notebook进行开发调试 使用ModelArts Notebook进行开发调试具有如下优势: 环境保持一致 配置一键完成 代码远程Debug 资源按需使用 只有PyCharm专业版支持本章节,社区版可以直接跳转至步骤4:使用PyCharm提交训练作业至ModelArts完成创建训练作业。
Code插件及ModelArts Notebook进行云端数据调试及模型开发。 方案优势 云端开发调试优势: 环境保持一致 配置一键完成 代码远程调试 资源按需使用 准备工作 下载VS Code IDE,下载路径:开源Visual Studio Code。根据不同的操作系统选择不同的安装包。 创建Notebook实例。
conf文件中net.ipv4.ip_forward配置 docker容器无法正常网络通信 重要 容器共享内存过小 共享内存默认为64M,可按需修改 分布式训练时共享内存不足导致训练失败 方式一: 修改/etc/docker/daemon.json配置文件default-shm-size字段