检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移Standard专属资源池和网络至其他工作空间 背景信息 专属资源池的工作空间关联了企业项目,企业项目涉及到账单归集。为隔离不同子用户操作资源的权限,ModelArts提供了工作空间功能,管理员可以根据工作空间,隔离不同子用户操作工作空间内资源的权限。工作空间迁移包括资源池迁移和网络迁移,具体方法可见下文说明。
由于ModelArts服务在使用过程中会访问其他依赖服务,因此需要给ModelArts进行委托授权。 购买Server资源时,需要选择虚拟私有云用于网络通信,您可以使用已有的虚拟私有云或新创建的虚拟私有云。 若使用密钥对作为登录裸金属服务器的鉴权方式,您可以使用已有的密钥对或新创建的密钥对。 在ModelArts控制台购买Server资源。
训练网络迁移总结 确保算法在GPU训练时,持续稳定可收敛。避免在迁移过程中排查可能的算法问题,并且要有好的对比标杆。如果是NPU上全新开发的网络,请参考PyTorch迁移精度调优排查溢出和精度问题。 理解GPU和NPU的构造以及运行的差别,有助于在迁移过程中分析问题并发挥NPU的
如果报错可以首先在昇腾社区论坛以及Gitee的PyTorch Issues中查看是否有类似的问题找到相关线索。如果还无法解决,可以通过提交工单的形式从华为云ModelArts入口进行咨询以及求助对应的专业服务。 自动迁移似乎还要改很多脚本才能运行起来? 因为自动迁移其实是对于torch运行环境中
andard-llama2-13b。并在该桶下创建文件夹目录用于后续存储代码使用,例如:training_data。 创建VPC 虚拟私有云(Virtual Private Cloud)可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS
环境准备 迁移环境简介 ModelArts开发环境针对推理昇腾迁移的场景提供了云上可以直接访问的开发环境,具有如下优点: 利用云服务的资源使用便利性,可以直接使用到不同规格的昇腾设备。 通过指定对应的运行镜像,可以直接使用预置的、在迁移过程中所需的工具集,且已经适配到最新的版本可以直接使用。
OBS Browser+、obsutil等工具访问和管理OBS桶,将代码、模型文件、数据集等数据上传或下载进行备份。 创建VPC 虚拟私有云(Virtual Private Cloud)可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS
OBS Browser+、obsutil等工具访问和管理OBS桶,将代码、模型文件、数据集等数据上传或下载进行备份。 创建VPC 虚拟私有云(Virtual Private Cloud)可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS
故障恢复 ModelArts全球基础设施围绕华为云区域和可用区构建。华为云区域提供多个在物理上独立且隔离的可用区,这些可用区通过延迟低、吞吐量高且冗余性高的网络连接在一起。利用可用区,您可以设计和操作在可用区之间无中断地自动实现故障转移的应用程序和数据库。与传统的单个或多个数据中
OBS Browser+、obsutil等工具访问和管理OBS桶,将代码、模型文件、数据集等数据上传或下载进行备份。 创建VPC 虚拟私有云(Virtual Private Cloud)可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS
OBS Browser+、obsutil等工具访问和管理OBS桶,将代码、模型文件、数据集等数据上传或下载进行备份。 创建VPC 虚拟私有云(Virtual Private Cloud)可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS
和“CPU”,按需选择“规格”,然后单击“立即注册”。 图1 配置镜像信息 Notebook介绍 ModelArts Notebook云上云下,无缝协同,更多关于ModelArts Notebook的详细资料请查看Notebook使用场景介绍。 本案例中的训练作业需要通过SFS
ModelArts与DLS服务的区别? 深度学习服务(DLS)是基于华为云强大高性能计算提供的一站式深度学习平台服务,内置大量优化的网络模型,以便捷、高效的方式帮助用户轻松使用深度学习技术,通过灵活调度按需服务化方式提供模型训练与评估。 但是,DLS服务仅提供深度学习技术,而Mo
训练作业日志中提示“No such file or directory” 问题现象 训练作业运行失败,日志中提示“No such file or directory”。 例如:找不到训练输入的数据路径时,会提示“No such file or directory”。 例如:找不到训练启动文件时,也会提示“No
自动学习模型训练图片异常? 使用自动学习的图像分类或物体检测算法时,标注完成的数据在进行模型训练后,训练结果为图片异常。针对不同的异常情况说明及解决方案参见表1。 表1 自动学习训练中图片异常情况说明(图像分类和物体检测) 序号 图片异常显示字段 图片异常说明 解决方案字段 解决方案说明
环境准备 开通裸金属服务器资源(详情请参见裸金属服务器资源),并在裸金属服务器上搭建迁移环境(详情请参见裸金属服务器环境配置指导)。 启动华为云预置镜像环境。本示例使用贵阳一的镜像环境。 # shell docker run --privileged --name chatglm-test
原因分析 在调用指南页签中显示的调用地址都是华为云APIG(API网关服务)的地址。调用发起方的客户端和华为云网络不通。 处理方法 如果客户端位于华为云网络之外,保证客户端所处的网络环境可以连接Internet; 如果客户端位于华为云网络内,默认的网络配置即可以访问通这个地址,避免设置特殊的网络配置,例如防火墙规则等。
精度校验 转换模型后执行推理前,可以使用benchmark工具对MindSpore Lite云侧推理模型进行基准测试。它不仅可以对MindSpore Lite云侧推理模型前向推理执行耗时进行定量分析(性能),还可以通过指定模型输出进行可对比的误差分析(精度)。 精度测试 benc
迁移过程使用工具概览 基础的开发工具在迁移的预置镜像和开发环境中都已经进行预置,用户原则上不需要重新安装和下载,如果预置的版本不满足要求,用户可以执行下载和安装与覆盖操作。 模型自动转换评估工具Tailor 为了简化用户使用,ModelArts提供了Tailor工具,将模型转换、
管理Standard专属资源池的游离节点 如果资源中存在游离节点,即没有被纳管到资源池中的节点,可在“AI专属资源池 > 弹性集群Cluster >节点”下查看此类节点的相关信息。 系统支持对游离节点进行续费、退订、开通/修改自动续费、添加/编辑资源标签、删除资源标签、搜索等操作。