正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
故障恢复 ModelArts全球基础设施围绕华为云区域和可用区构建。华为云区域提供多个在物理上独立且隔离的可用区,这些可用区通过延迟低、吞吐量高且冗余性高的网络连接在一起。利用可用区,您可以设计和操作在可用区之间无中断地自动实现故障转移的应用程序和数据库。与传统的单个或多个数据中
规格:选择8卡GPU规格。 计算节点:1。 SFS Turbo:增加挂载配置,选择SFS名称,云上挂载路径为“/home/ma-user/work”。 为了和Notebook调试时代码路径一致,保持相同的启动命令,因此云上挂载路径需要填写为“/home/ma-user/work”。 单击“提交”,
计算节点个数:选择需要的节点个数。 SFS Turbo:增加挂载配置,选择SFS名称,云上挂载路径为“/home/ma-user/work”。 为了和Notebook调试时代码路径一致,保持相同的启动命令,云上挂载路径需要填写为“/home/ma-user/work”。 单击“提交”,在“
训练模型:可以在ModelArts服务中进行,也可以在您的本地开发环境进行,本地开发的模型需要上传到华为云OBS服务。 创建AI应用:把模型文件和推理文件导入到ModelArts的模型仓库中,进行版本化管理,并构建为可运行的AI应用。 部署服务:AI应用构建完成后,根据您的业务场景,选择将模型部署成对应的服务类型。
用户VPC:安装和配置正向代理 算法镜像:设置DNS代理和公网地址调用 ModelArts:设置资源池的网络 专属资源池的创建作业类型包含推理服务,选择的网络需打通VPC网络,如下图所示: 图2 创建专属资源池 图3 打通VPC 打通VPC可实现ModelArts资源池和用户VPC的
未知系统问题导致,建议先尝试重建作业,重建后仍然失败,建议提工单定位。 处理方法 如果存在之前能跑通,什么都没修改,过了一阵跑不通的情况,先去排查跑通和跑不通的日志是否存在pip源更新了依赖包,如下图,安装之前跑通的老版本即可。 图1 PIP安装对比图 推荐您使用本地Pycharm远程连接Notebook调试。
源执行任何操作。 保留期到期后,如果您仍未支付账户欠款,那么计算资源、云硬盘和对象存储都将被释放,数据无法恢复。 图1 按需计费资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值,详细操作请参见账户充值。 如果确认不再使用Mo
以自己的名字命名。 (可选)安装固件和驱动。 查看环境信息。执行如下命令查看当前拿到的机器的固件和驱动版本。 npu-smi info -t board -i 1 | egrep -i "software|firmware" 图4 查看固件和驱动版本 其中firmware代表固件
“描述”、“版本”和“限制”等信息。 修改封面图和二级标题 在发布的资产详情页面,单击右侧的“编辑”,选择上传新的封面图,为资产编辑独特的主副标题。 编辑完成之后单击“保存”。封面图和二级标题内容自动同步,您可以直接在资产详情页查看修改结果。 图3 修改封面图和二级标题 编辑许可证类型
当模型的“任务类型”是“文本问答”或“文本生成”时,“推理任务类型”默认和模型“任务类型”一致。“推理任务类型”支持修改,如果模型文件满足自定义模型规范(推理),则“推理任务类型”支持选择“自定义”。 当模型的“任务类型”是除“文本问答”和“文本生成”之外的类型(即自定义模型)时,则“推理任务类
储容量和时长收费。您也可以购买包年包月套餐,提前规划资源的使用额度和时长。在欠费时,您需要及时(15天之内)续费以避免您的文件系统资源被清空。SFS购买指导请参考如何购买弹性文件服务?。 购买容器镜像服务SWR 容器镜像服务分为企业版和共享版。 共享版计费项包括存储空间和流量费用,目前均免费提供给您。
用户自定义镜像没有ma-user用户及ma-group用户组; 用户自定义镜像中/home/ma-user目录,属主和用户组不是ma-user和ma-group; 用户自定义镜像必须满足用户目录/home/ma-user权限为750,不能为其他权限; 用户自定义镜像使用远程SSH功能,OpenSSH版本要兼容或高于8
上传单个超过5GB的文件时,请使用Gallery CLI工具。CLI工具的获取和使用请参见Gallery CLI配置工具指南。 文件合集大小不超过50GB。 文件上传完成前,请不要刷新或关闭上传页面,防止意外终止上传任务,导致数据缺失。 当模型的“任务类型”是除“文本问答”和“文本生成”之外的类型(即自定义模型)时,
使用cuda版本为10的开发环境tf-1.13中编译生成的so包,在cuda版本为9.0训练环境中tf-1.12训练会报该错。 编译环境和训练环境的cuda版本不一致时,可参考如下处理方法: 在业务执行前加如下命令,检查是否能找到so文件。如果已经找到so文件,执行2;如果没有找到,执行3。
采集方式参考Ascend PyTorch Porfiler数据采集与分析方式。 调优结果 这里对deepspeed单机8卡环境下,调优之前和调优之后的train metrics做了统计,结果如下。 性能基线: ***** train metrics ***** epoch
无法执行相关GPU命令,只能尝试释放D+进程。 处理方法 “nvidia-smi”是一个NVIDIA GPU监视器命令行工具,用于查看GPU的使用情况和性能指标,可以帮助用户进行GPU优化和故障排除。 但是建议在业务软件或训练算法中,避免频繁使用“nvidia-smi”命令功能获取相关信息,存在锁死的风险。出现D+进程后可以尝试如下方法:
注册并登录华为云,且创建好OBS桶用于存储算法和Workflow。 订阅免费Workflow 登录“AI Gallery”。 选择“资产集市 > MLOps > Workflow”,进入Workflow页面,该页面展示了所有共享的Workflow。 搜索业务所需的免费Workflow,请参见查找和收藏资产。 单击目标Workflow进入详情页面。
475a-b5d0-ecf896da3b0d"的"/path1"和"/path2/path2-1"配置访问权限,同时也为"2a70da1e-ea87-4ee4-ae1e-55df846e7f41"的"/path1"和"/path2/path2-1"配置访问权限。 "modelarts:sfsId":
发布后,资产会处于“审核中”,审核中的资产仅资产所有者可见。 审核完成后,资产会变成“已发布”状态,并在模型列表可见。 父主题: 发布和管理AI Gallery模型
理:通过使用MindSpore Lite对ResNet50模型在Ascend执行推理为例,向大家介绍MindSpore Lite的基础功能和用法。 图6 ResNet50模型迁移到Ascend上进行推理 Stable Diffusion模型迁移到Ascend上进行推理:介绍如何将Stable