检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询对象属性 功能说明 查询对象的基本属性。 命令结构 Windows操作系统 obsutil stat obs://bucket/key [-acl][-bf=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统
据您的自身情况选择。 资源池:专属资源池,选择创建资源中创建的ModelArts资源池。 SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 图1 创建训练作业参数 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容
FS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
配置ModelArts和SFS Turbo间网络直通。 创建委托授权ModelArts云服务使用SFS Turbo。 配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4
ser+。 参考链接: 对IAM用户组授予OBS所有资源的所有操作权限 获取IAM用户Token(使用密码) 华为云账号、华为账号的关系 怎么知道当前登录华为云使用的是“华为账号” 还是“华为云账号”? 父主题: 常见问题
查询华为云算子模板详情 功能介绍 本接口用于按名称查询Action模板。 请求消息样式 GET /v2/actiontemplates/{template_name} HTTP/1.1 Host: obs.cn-north-4.myhuaweicloud.com Authorization:
查询桶触发器 功能介绍 本接口用于查询桶上绑定工作流触发器。 请求消息样式 GET /?obsworkflowtriggerpolicy HTTP/1.1 Host: bucket.obs.cn-north-4.myhuaweicloud.com Authorization: authorization
查询工作流详情 功能介绍 本接口用于根据工作流名称查询工作流详细信息。 请求消息样式 GET /v2/workflows/{graph_name} HTTP/1.1 Host: obs.cn-north-4.myhuaweicloud.com Authorization: authorization
查询工作流实例 功能介绍 本接口用于查询指定工作流实例详细。 请求消息样式 GET /v2/workflowexecutions/{execution_name}?x-workflow-graph-name={graph_name} HTTP/1.1 Host: obs.cn-north-4
21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。 SFS Turbo费用:详见SFS计费说明。 ModelArts费用:详见ModelArts计费说明。
参数解释: 请求中携带的头域。 默认取值: 无 QueryParams map[string]string 可选 参数解释: 请求中携带的查询参数。 默认取值: 无 表3 HttpMethodType 常量名 原始值 说明 HttpMethodGet GET HTTP GET请求。
获取用户ID请参考:管理员查询IAM用户列表。 获取项目ID请参考:查询指定条件下的项目列表。 获取用户组名称和ID 登录华为云,进入IAM控制台,选择“用户组”页签。 单击需要查询的用户组前的下拉框,即可查询用户组名称、用户组ID。 图3 查询用户组名称、用户组ID 获取区域ID 登录华为云,进入IAM控制台,选择“项目”页签。
查看命令帮助 功能说明 查看工具支持的命令,或查看某个具体命令的帮助文档。 命令结构 Windows操作系统 obsutil help [command] macOS/Linux操作系统 ./obsutil help [command] 运行示例 以Windows操作系统为例,运行obsutil
查询工作流实例列表 功能介绍 本接口用于查询用户工作流的实例列表。 请求消息样式 GET /v2/workflowexecutions?x-workflow-next-marker={marker}&x-workflow-limit={limit}&x-workflow-grap
查询工作流列表 功能介绍 本接口用于查询工作流列表。 请求消息样式 GET /v2/workflows/{graph_name_prefix}?x-workflow-start={start}&x-workflow-limit={limit}&x-workflow-prefix HTTP/1
面向AI场景使用OBS+SFS Turbo的存储加速实践 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案。华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对O
查询华为云算子模板列表 功能介绍 本接口用于查询已有预置Action模板列表。 请求消息样式 GET /v2/actiontemplates/{template_name_prefix}?x-workflow-category={category}&x-workflow-prefix