检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
read()) OBS目录以“obs://”开头,比如“obs://bucket/XXX.txt”。用户无法直接使用open方法打开OBS文件,上面描述的打开本地文件的代码将会报错。 OBS提供了很多方式和工具给用户使用,如SDK、API、console、OBS Browser等,ModelArts
获取动态挂载OBS实例信息列表 功能介绍 获取动态挂载OBS实例信息列表。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{pr
存储在OBS中,因此会根据您使用的OBS桶进行收费。 建议您前往OBS服务,了解OBS计费详情,创建相应的OBS桶用于存储ModelArts使用的数据。 ModelArts标注完样本集后,如何保证退出后不再产生计费? 标注样本集本身不计费,数据集存储在OBS中,收取OBS的费用。
使用约束 根据创建模型时的设置,显示部署服务的使用约束,如请求模式、启动命令、模型加密等。对于异步请求模式的模型,可显示输入模式、输出模式、服务启动参数和作业配置参数等参数。 关联服务 展示使用该模型部署的服务列表,单击服务名称可以直接跳转到服务详情页面。 父主题: 管理ModelArts模型
响应Body参数 参数 参数类型 描述 obs_url String 日志OBS临时链接(复制到浏览器可查看当前全量日志)。 请求示例 如下以查询uuid为2cd88daa-31a4-40a8-a58f-d186b0e93e4f的训练作业对应work-0日志OBS临时链接为例。 GET ht
CommonOperations权限只能二选一,不能同时选。 SFS弹性文件服务 弹性文件服务SFS Turbo的所有权限。使用SFS服务时需要配置。 ECS弹性云服务器 弹性云服务器所有权限。使用ECS服务时需要配置。 SWR容器镜像仓库 容器镜像仓库所有权限。使用SWR服务时需要配置。同时,还需开通SWR组织权限。
”,将OBS中的数据重新同步至ModelArts中。 检查OBS的访问权限 如果OBS桶的访问权限设置无法满足训练要求时,将会出现训练失败。请排查如下几个OBS的权限设置。 当前账号具备OBS桶的读写权限(桶ACLs) 进入OBS管理控制台,选择当前自动学习项目使用的OBS桶,单击桶名称进入概览页。
需求购买OBS服务。OBS服务支持以下两种存储方式,单机单卡场景使用文件系统,多机多卡场景使用普通OBS桶。 创建普通OBS桶 创建并行文件系统 购买数据加密服务DEW 在使用Notebook进行代码调试时,如果要开启“SSH远程开发”功能,需要选择已有密钥对。密钥对可免费创建,
您可以在云服务器设置重启时进行自动挂载,具体步骤请参考服务器重启后自动挂载指南。 使用对象存储服务OBS作为存储 若使用OBS服务作为存储方案,推荐使用“并行文件系统+obsutil”的方式,并行文件系统是OBS服务提供的一种经过优化的高性能文件语义系统,提供毫秒级别访问时延,T
从OBS目录导入数据规范说明 导入数据集时,使用存储在OBS的数据时,数据的存储目录以及文件名称需满足ModelArts的规范要求。 当前只有“图像分类”、“物体检测”、“图像分割”、“文本分类”和“声音分类”标注类型支持按标注格式导入。 其中,“表格”类型的数据集,支持从OBS、
Access 模型管理/在线服务/批量服务/边缘服务/边缘部署专属资源池 对象存储服务OBS OBS Administrator 云监控服务CES CES ReadOnlyAccess 消息通知服务SMN SMN Administrator 企业项目管理服务EPS EPS FullAccess
进入“数据集概览页”。 在“数据集概览页”,单击右上角“导出 ”。在弹出的“导出”对话框中,填写相关信息,然后单击“确定”,开始执行导出操作。 “数据来源”:选择新数据集。 “名称”:新数据集名称。 “保存路径”:表示新数据集的输入路径,即当前数据导出后存储的OBS路径。 “输出
OBS桶。 在线服务:停止在线服务。删除存储到OBS中的数据及OBS桶。 专属资源池:删除专属资源池。按需计费的专属资源池,创建成功后即开始计费,在使用中会持续计费。如果不再使用,需及时删除。包年包月的专属资源池到期后会自动停止使用。 存储到OBS中的数据需在OBS控制台进行手动
Notebook删除后,此权限策略不会被删除。 对象存储服务OBS 说明: OBS对象存储为白名单功能,如需使用,请联系华为技术支持开通。 仅支持挂载同一区域下的OBS对象存储。 在开发环境中做大规模的数据上传下载时,可以通过OBS桶做中转。 存储成本低,吞吐量大,但是小文件读写
如果不再使用ModelArts,需要停止/删除ModelArts中运行的服务;删除在OBS中存储的数据;删除在EVS中存储的数据。 清理存储数据 由于ModelArts的数据存储在OBS中,请前往OBS服务删除对应数据和目录,停止计费。 清理资源 请检查在ModelArts所创建
推荐使用“西南-贵阳一”Region上的昇腾资源。 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。
从OBS导入数据到数据集场景介绍 导入方式 OBS导入数据方式分为“OBS目录”和“Manifest文件”两种。 OBS目录:指需要导入的数据集已提前存储至OBS目录中。此时需选择用户具备权限的OBS路径,且OBS路径内的目录结构需满足规范,详细规范请参见从OBS目录导入数据规范
HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。通过OBS与SFS Turbo存储联动,可以将最新的训练数据导入到SFS Turbo,然后在训练作业中挂载SFS
HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。通过OBS与SFS Turbo存储联动,可以将最新的训练数据导入到SFS Turbo,然后在训练作业中挂载SFS
HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。通过OBS与SFS Turbo存储联动,可以将最新的训练数据导入到SFS Turbo,然后在训练作业中挂载SFS