检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ch,再其他依赖包。 不建议把数据、代码放到容器镜像里。因为对应内容应该是经常变动的,会导致频繁的容器镜像构建操作。 不建议在容器内再创建多个conda env。因为容器已经能满足隔离需求,没有必要再通过conda env做隔离。 本教程通过打包conda env来构建环境,也可以通过pip
创建项目 创建自动学习项目有个数限制吗? 创建项目的时候,数据集输入位置没有可选数据 父主题: Standard自动学习
此类算子时涉及到数组的重排,性能较差; 模型的部分算子在昇腾上不支持,或者存在Transpose操作,会导致模型切分为多个子图,整体的推理耗时随着子图数量的增多而增长; 模型没有真正的调用昇腾后端,而是自动切换到了CPU上执行,这种情况可以通过输出日志来进行判断。 自助性能调优三板斧
单击左上方“创建资产”,选择“镜像”。 在“创建镜像”弹窗中配置参数,单击“创建”。 表1 创建镜像 参数名称 说明 英文名称 必填项,镜像的英文名称。 如果没有填写“中文名称”,则资产发布后,在镜像页签上会显示该“英文名称”。 中文名称 镜像的中文名称。 如果填写了“中文名称”,则资产发布后,在镜像页签上会显示该“中文名称”。
单张图片也无法查看。或者数据集中提示图片加载异常。 原因分析 可能由于用户本地网络原因,无法正常访问OBS导致图片无法正常加载。 可能由于没有OBS桶的访问权限导致,请检查数据集输入位置所在的OBS桶,是否具有访问权限。 可能是OBS桶加密或者OBS文件加密导致。 可能跟OBS桶
人工标注文本数据 由于模型训练过程需要大量有标签的数据,因此在模型训练之前需对没有标签的文本添加标签。您也可以对已标注文本进行修改、删除和重新标注。 针对文本分类场景,是对文本的内容按照标签进行分类处理,开始标注前,您需要了解: 文本标注支持多标签,即一个标注对象可添加多个标签。
人工标注音频数据 由于模型训练过程需要大量有标签的音频数据,因此在模型训练之前需对没有标签的音频添加标签。通过ModelArts您可对音频进行一键式批量添加标签,快速完成对音频的标注操作,也可以对已标注音频修改或删除标签进行重新标注。音频标注涉及到的标注标签和声音内容只支持中文和英文,不支持小语种。
单击AI应用名称,进入AI应用详情页,单击部署在线服务。 图7 部署在线服务 填写如下服务部署参数。 名称: 服务的名称,按照实际需要填写 是否自动停止:如果配置自动停止,服务会按照配置的时间自动停止。如果需要常驻的服务,建议关掉该按钮。 描述:按照需要填写。 资源池:选择专属资源池。若之前未购买专属资源池,具体步骤请参考创建资源池。
于特征筛选算法限制,标签列建议放在数据集最后一列,否则可能导致训练失败。 由于ModelArts会自动对数据进行一些过滤,过滤后再启动训练作业。当预处理后的数据不满足训练要求时,也会导致训练作业运行失败。 对于数据集中列的过滤策略如下所示: 如果某一列空缺的比例大于系统设定的阈值(0
IAM权限设置 是否必选 ModelArts 授予子用户使用ModelArts服务的权限。 ModelArts CommonOperations没有任何专属资源池的创建、更新、删除权限,只有使用权限。推荐给子用户配置此权限。 ModelArts CommonOperations 必选
2048",服务会在启动时测算这些输入长度数据的执行时间,该数量会影响服务启动时间,建议不超过10个 --profile-out-len:profiling的输出长度,默认"4,16,64,128",服务会在启动时测算这些输出长度数据的执行时间,该数量会影响服务启动时间,建议不超过5个 --prof
准备镜像 准备大模型训练适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 训练基础镜像 swr
答时,max_out_len建议设置小一些,比如16。在运行human_eval等生成式回答(生成式回答是对整体进行评测,少一个字符就可能会导致判断错误)时,max_out_len设置建议长一些,比如512,至少包含第一个回答的全部字段。 batch_size:输入的batch_
答时,max_out_len建议设置小一些,比如16。在运行human_eval等生成式回答(生成式回答是对整体进行评测,少一个字符就可能会导致判断错误)时,max_out_len设置建议长一些,比如512,至少包含第一个回答的全部字段。 batch_size:输入的batch_
要在每个您所用到的区域均执行委托授权操作。 在ModelArts控制台的“权限管理”页面,单击“添加授权”后,系统会引导您为特定用户或所有用户进行委托配置,通常默认会创建一个名为“modelarts_agency_<用户名>_随机ID”的委托条目。在权限配置的区域,您可以选择Mo
要在每个您所用到的区域均执行委托授权操作。 在ModelArts控制台的“全局配置”页面,单击“添加授权”后,系统会引导您为特定用户或所有用户进行委托配置,通常默认会创建一个名为“modelarts_agency_<用户名>_随机ID”的委托条目。在权限配置的区域,您可以选择Mo
ECS中构建新镜像 通过ECS获取和上传基础镜像获取基础镜像后,可通过ECS运行Dockerfile文件,在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。 解压A
“资源池”:选择公共资源池或专属资源池,此处以公共资源池为例。 “类型”:推荐选择GPU。 “规格”:推荐选择GP Tnt004规格,如果没有再选择其他规格。 参数填写完成后,单击“立即创建”进行规格确认。参数确认无误后,单击“提交”,完成Notebook的创建操作。 进入Not
ECS中构建新镜像 通过ECS获取和上传基础镜像获取基础镜像后,可通过ECS运行Dockerfile文件,在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。 解压A
ECS中构建新镜像 通过ECS获取和上传基础镜像获取基础镜像后,可通过ECS运行Dockerfile文件,在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。 解压A