检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
子用户进行相应的权限配置,限制某些资源的管理,实现权限最小化。 模型管理 使用从训练或者从OBS中选择创建模型,推荐用户使用动态加载的方式导入,动态加载实现了模型和镜像的解耦,便于进行模型资产的保护。用户需要及时更新模型的相关依赖包,解决开源或者第三方包的漏洞。模型相关的敏感信息
按照“Pull/Push指南”页签提供的操作方法,将用户B共享的镜像Pull下来,即作为自有镜像。 进入ModelArts控制台,选择Pull下来的镜像进行镜像注册,注册成功后即可在Notebook界面使用此镜像。 父主题: Standard镜像相关
“S3_ENDPOINT=https://obs.region.myhuaweicloud.com” S3_VERIFY_SSL 访问OBS是否使用SSL。 “S3_VERIFY_SSL=0” S3_USE_HTTPS 访问OBS是否使用HTTPS。 “S3_USE_HTTPS=1” 表5 PIP源和API网关地址环境变量
链接仓库协议。当前支持:ssh,https。 url String 链接仓库地址。 credential Object 证书信息,请参见表30。 表24 credential字段数据结构说明 参数 参数类型 说明 ssh_private_key String ssh私有证书。 access_token
获取用户名和用户ID 在调用接口的时候,部分请求中需要填入用户名(user name)和用户ID(user_id)。获取步骤如下: 注册并登录管理控制台。 鼠标移动至用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面,查看“IAM用户名”和“IAM用户ID”。 图1 获取用户名和ID
参数 是否必选 参数类型 描述 delete_source 否 Boolean 是否删除源文件,对非文本类型数据集有效(文本类型数据集因为是导入的整个文本文件,故删除一条样本不会对源文本有影响)。可选值如下: false:不删除源文件(默认值) true:删除源文件(注意:此操作可
存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。通过OBS与SFS Turbo存储联动,可以将最新的训练数据导入到SFS Turbo,然后在训练作业中挂载SFS Turbo到容器对应ckpt目录,实现分布式读取训练数据文件。
存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。通过OBS与SFS Turbo存储联动,可以将最新的训练数据导入到SFS Turbo,然后在训练作业中挂载SFS Turbo到容器对应ckpt目录,实现分布式读取训练数据文件。
是自定义镜像的问题。 解决方案 排查是否是自定义镜像的问题。 自定义镜像构建完成,在ModelArts镜像管理注册时,“架构”和“类型”需要和源镜像保持一致。 图2 注册镜像 父主题: 实例故障
存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。通过OBS与SFS Turbo存储联动,可以将最新的训练数据导入到SFS Turbo,然后在训练作业中挂载SFS Turbo到容器对应ckpt目录,实现分布式读取训练数据文件。
存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。通过OBS与SFS Turbo存储联动,可以将最新的训练数据导入到SFS Turbo,然后在训练作业中挂载SFS Turbo到容器对应ckpt目录,实现分布式读取训练数据文件。
存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。通过OBS与SFS Turbo存储联动,可以将最新的训练数据导入到SFS Turbo,然后在训练作业中挂载SFS Turbo到容器对应ckpt目录,实现分布式读取训练数据文件。
存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。通过OBS与SFS Turbo存储联动,可以将最新的训练数据导入到SFS Turbo,然后在训练作业中挂载SFS Turbo到容器对应ckpt目录,实现分布式读取训练数据文件。
菜、水果和饮品),并给出置信度最高的5类商品的置信度得分。 步骤一:准备工作 已注册华为账号并开通华为云,进行了实名认证,且在使用ModelArts前检查账号状态,账号不能处于欠费或冻结状态。 注册华为账号并开通华为云 进行实名认证 配置委托访问授权 ModelArts使用过程中
菜、水果和饮品),并给出置信度最高的5类商品的置信度得分。 步骤1:准备工作 已注册华为账号并开通华为云,进行了实名认证,且在使用ModelArts前检查账号状态,账号不能处于欠费或冻结状态。 注册华为账号并开通华为云 进行实名认证 配置委托访问授权 ModelArts使用过程中
&& \ pip install ipykernel==6.7.0 --trusted-host https://repo.huaweicloud.com -i https://repo.huaweicloud.com/repository/pypi/simple && \
下载数据 在AI Gallery中,您可以下载满足业务需要的数据集。 前提条件 注册并登录华为云,且创建好OBS桶用于存储数据。 下载数据集 登录“AI Gallery”。 选择“资产集市 > 数据集”,进入数据页面,该页面展示了所有共享的数据集。 搜索业务所需的数据集,请参见查找和收藏资产。
在工作流中集成MRS 表7 管理模型 业务场景 依赖的服务 依赖策略项 支持的功能 管理模型 SWR SWR Admin 从自定义镜像导入、从OBS导入时使用自定义引擎。 SWR共享版不支持细粒度权限项,因此需要配置Admin权限。 OBS obs:bucket:ListAllMybuckets(获取桶列表)
ModelArts中注册镜像 镜像上传后,可在SWR中查看已上传的镜像。但在ModelArts中还需要完成镜像注册后,才能在后续的Notebook中使用。 登录ModelArts管理控制台,在左侧导航栏选择“资产管理 > 镜像管理”,然后在“镜像管理”页面右上角单击“注册镜像”。 在“
Gallery中分享的算法支持免费订阅,但在使用过程中如果消耗了硬件资源进行部署,管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云,且创建好OBS桶用于存储数据和模型。 订阅算法 登录“AI Gallery”。 选择“资产集市 > 算法”,进入算法页面,该页面展示了所有共享的算法。