检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理方法 如果是正常的OOM,就需要修改一些超参,释放一些不需要的tensor。 修改网络参数,比如batch_size、hide_layer、cell_nums等。 释放一些不需要的tensor,使用过的,如下: del tmp_tensor torch.cuda.empty_cache()
单击“模型部署 > 在线服务”,进入在线服务页面。 单击“授权管理”后,单击创建应用即可创建App应用。 图1 授权管理 创建完App应用后即可展开App,然后单击添加AppCode即可添加AppCode。 图2 添加AppCode 单击使用ModelArts Standard一
开启后,可为节点名称添加前缀。 添加前缀后,节点名称由前缀+随机数组成。 输入长度范围为1到64个字符。 前缀必须以小写字母开头,并由小写字母和数字组成,以“-”分隔。例如:node-com。 标签 单击“添加新标签”,可以为Lite资源池配置标签信息,通过标签实现资源的分组管理。此处的标
在ModelArts侧进行节点重置后,modelarts-os会向节点添加准入污点,进行节点准入,而因为集群volcano没有污点容忍,且集群内只有一个节点,导致volcano无法启动,进而导致modelarts-os节点上管理污点的maos-node-agent容器无法启动,使得污点无法被自动清理。
云VPC是一套为实例构建的逻辑隔离的、由用户自主配置和管理的虚拟网络环境。为云服务器、云容器、云数据库等资源构建隔离的、用户自主配置和管理的虚拟网络环境,提升用户资源的安全性,简化用户的网络部署。 登录ModelArts管理控制台,在左侧导航栏中选择“AI专属资源池 > 弹性集群
过OBS Browser+、obsutil等工具访问和管理OBS桶,将代码、模型文件、数据集等数据上传或下载进行备份。 创建VPC 虚拟私有云(Virtual Private Cloud)可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS
否,执行下一步,给用户添加委托权限。 添加委托权限。 如果是IAM子账号,没有修改委托权限,请联系管理员添加Tenant Administrator委托权限。 登录统一身份认证服务IAM管理控制台。 单击导航栏的“委托”,进入委托页面。 搜索ModelArts使用的委托,例如“modelarts_agency”,单击委托名称进入“基本信息”页面。
过OBS Browser+、obsutil等工具访问和管理OBS桶,将代码、模型文件、数据集等数据上传或下载进行备份。 创建VPC 虚拟私有云(Virtual Private Cloud)可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS
过OBS Browser+、obsutil等工具访问和管理OBS桶,将代码、模型文件、数据集等数据上传或下载进行备份。 创建VPC 虚拟私有云(Virtual Private Cloud)可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS
0镜像中的libmkldnn软连接与原生torch的冲突,具体可参看文档。 处理方法 按照issues中的说明,应该是环境中的库冲突了,因此在启动脚本最开始之前,添加如下代码。 import os os.system("rm /home/work/anaconda3/lib/libmkldnn.so")
的模型管理中,并部署上线。 使用主用户账号登录管理控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入统一身份认证(IAM)服务。 添加部署上线使用权限。在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,设置策略。 添加部署上线使用权限。
使用主用户账号登录管理控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入统一身份认证(IAM)服务。 添加开发环境使用权限和依赖服务SWR权限。在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,设置策略。 添加开发环境使用权限。
过OBS Browser+、obsutil等工具访问和管理OBS桶,将代码、模型文件、数据集等数据上传或下载进行备份。 创建VPC 虚拟私有云(Virtual Private Cloud)可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS
的适配和修正,分为三个方面:添加输出目录、复制数据集到本地、映射数据集路径到OBS。 添加输出目录 添加输出目录的代码比较简单,即在代码中添加一个输出评估结果文件的目录,被称为train_url,也就是页面上的训练输出位置。并把train_url添加到使用的函数analysis中
管理标注作业 查看标注作业 在ModelArts数据标注页面可查看用户自己创建的标注作业。 登录ModelArts管理控制台,在左侧菜单栏选择“数据准备>数据标注”,进入数据标注页面。 在“我创建的”页签,可查看自己创建的标注作业。用户可查看自己创建的标注作业的相关信息。 图1 我创建的
创建实例时,需开启“SSH远程开发”,并下载保存密钥对至本地如下目录。 Windows:C:\Users\{{user}} macOS/Linux: Users/{{user}} 密钥对在用户第一次创建时自动下载,之后使用相同的密钥时不会再有下载界面(请妥善保管),或者每次都使用新的密钥对。
headers=headers) print(response.content) 通过IP和端口号直连应用 登录弹性云服务器(ECS),可以通过Linux命令行访问在线服务,也可以创建Python环境运行Python代码访问在线服务。schema、 ip、port参数值从3获取。 执行命令示例如下,直接访问在线服务。
索引,此处可以根据此时间进行搜索。可选值如下: month:搜索往前30天至今天内添加的样本 day:搜索昨天(往前1天)至今天内添加的样本 yyyyMMdd-yyyyMMdd:搜索指定时间段内添加的样本,格式为“起始日期-结束日期”,查询天数不能超过30天。例如:“201909
镜像上传至SWR服务。 将自定义镜像创建为模型:将上传至SWR服务的镜像导入ModelArts的模型管理。 将模型部署为在线服务:将导入的模型部署上线。 本地构建镜像 以linux x86_x64架构的主机为例,您可以购买相同规格的ECS或者应用本地已有的主机进行自定义镜像的制作。
例如:training_data。 创建VPC 虚拟私有云(Virtual Private Cloud)可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS