检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图2 SFS类型和容量选择 ModelArts网络关联SFS Turbo OBS-SFS Turbo联动方案涉及VPC、SFS Turbo HPC型文件系统、OBS对象存储服务和ModelArts资源池。
”,适用于访问自己名下的OBS数据;您可以访问OBS服务的对象获取路径。
部署类型 模型支持部署的服务类型。 元模型来源 显示元模型的来源,主要有从训练中选择、从对象存储服务(OBS)中选择、从容器镜像中选择。不同来源的元模型,模型显示的参数会不同。
进入“对象存储”界面,可在搜索框中输入已经创建的桶名称或者桶名称列表栏,找到您创建的OBS桶。 在“区域栏”可查看创建的OBS桶的所在区域。 查看ModelArts所在区域。 登录ModelArts控制台,在控制台左上角可查看ModelArts所在区域。
按照存储费用结算,那么运行这个训练作业的费用计算如下: 存储费用:训练的数据通过对象存储服务(OBS)上传或导出,存储计费按照OBS的计费规则。 综上,训练作业的运行费用 = 存储费用 父主题: 计费项
小时 * 1 * 0.5 小时 = 5.15 元 存储费用:Workflow实例的数据通过对象存储服务(OBS)上传或导出,存储计费按照OBS的计费规则。
动态卸载OBS 功能介绍 卸载后,OBS存储中的对象保持不变,Notebook容器中无法再操作OBS对象。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。
本文档适用于OBS+SFS Turbo的数据存储方案,不适用于仅OBS存储方案。通过OBS对象存储服务(Object Storage Service)与SFS Turbo文件系统联动,可以实现灵活数据管理、高性能读取等。
本文档适用于仅使用OBS对象存储服务(Object Storage Service)作为存储的方案,OBS用于存储模型文件、训练数据、代码、日志等,提供了高可靠性的数据存储解决方案。 约束限制 适配的CANN版本是cann_8.0.rc3,驱动版本是23.0.6。
“存储配置” 包括“云硬盘EVS”、“弹性文件服务SFS”、“对象存储服务OBS”和“并行文件系统PFS”。请根据界面实际情况和需要选择。 说明: “对象存储服务OBS”、“并行文件系统PFS”是白名单功能,如果有试用需求,请提工单申请权限。 选择“云硬盘EVS”作为存储位置。
存储相关 在ModelArts中如何查看OBS目录下的所有文件?
OBS对象存储服务 具有对象存储服务(OBS)查看桶列表、获取桶元数据、列举桶内对象、查询桶位置、上传对象、获取对象、删除对象、获取对象ACL等对象基本操作权限。 配置IAM权限 配置ModelArts委托权限 配置SWR组织权限 测试用户权限 父主题: 基本配置
图1 从OBS中选择元模型 表2 元模型来源参数说明 参数 说明 “元模型来源” 选择“从对象存储服务(OBS)中选择”。 “选择元模型” 选择元模型存储的OBS路径。 OBS路径不能含有空格,否则创建模型会失败。
模型为从对象存储(OBS)导入的:此时对body的要求会在推理代码中体现,具体在推理代码的_preprocess方法中,该方法将输入的http body转换成模型期望的输入,具体的指导可以查看文档:模型推理代码编写说明。
使用主机路径 OBS 适用于训练数据集的存储。 对象存储。常用OBS SDK进行样本数据下载。存储量大,但是离节点比较远,直接训练速度会比较慢,通常会先将数据拉取到本地cache,然后再进行训练任务。 静态挂载 动态挂载 SFS Turbo 适用于海量小文件业务场景。
删除OBS桶 在控制台左侧导航栏的服务列表,选择“对象存储服务OBS”,进入OBS服务详情页面。 在左侧导航栏选择“桶列表”,在列表详情,找到自己创建的OBS桶,进入OBS桶详情。
/镜像管理/弹性节点Server 对象存储服务OBS OBS Administrator 凭据管理服务CSMS CSMS ReadOnlyAccess 云审计服务CTS CTS Administrator 弹性云服务器ECS ECS FullAccess 容器镜像服务SWR SWR
为了控制委托授权的越权风险,ModelArts服务的权限管理功能要求只有租户管理员才能为用户配置委托,由管理员保证委托授权的安全性。 委托授权的最小化 管理员在配置委托授权时,应严格控制授权的范围。
如果确认不再使用ModelArts服务,需在ModelArts管理控制台总览页确认会收费的实例已全部停止或删除,同时需清理运行Notebook实例时存储到云硬盘中的数据和其他存储到对象存储服务中的数据,以免继续扣费。
SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。