检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看桶多版本状态 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.getBucketVersioning查看桶的多版本状态。以下代码展示了如何查看桶的多版本状态:
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
配置ModelArts和SFS Turbo间网络直通。 创建委托授权ModelArts云服务使用SFS Turbo。 配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
format_exc()) # 关闭workflowClient workflowClient.close() 相关链接 关于查询工作流实例的API说明,请参见查询工作流实例。 查询工作流实例过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 父主题: 工作流实例管理
FS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
format_exc()) # 关闭workflowClient workflowClient.close() 相关链接 关于查询桶触发器的API说明,请参见查询桶触发器。 查询桶触发器过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 父主题: 触发器策略管理
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用户
format_exc()) # 关闭workflowClient workflowClient.close() 相关链接 关于查询工作流列表的API说明,请参见查询工作流列表。 查询工作流列表过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 父主题: 工作流管理
21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。 SFS Turbo费用:详见SFS计费说明。 ModelArts费用:详见ModelArts计费说明。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。
下载该对象。获取对象URL的方式如下: 方式一,接口查询,调用ObsClient.putContent或ObsClient.putFile上传对象后会返回PutContentResponse对象,通过调用该对象的objectUrl接口可获取上传对象的URL。示例代码如下: # 引入模块
查看桶多版本状态 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 您可以通过get_bucket_version_configuration查看桶的多版本状态。以下代码展示了如何查看桶的多版本状态: 参数描述 字段名 类型 约束
签名不匹配(SignatureDoesNotMatch)如何处理 问题现象 调用OBS API报如下错误: 状态码:403 Forbidden 错误码:SignatureDoesNotMatch 错误信息:The request signature we calculated does
format_exc()) # 关闭workflowClient workflowClient.close() 相关链接 关于查询工作流实例列表的API说明,请参见查询工作流实例列表。 查询工作流实例列表过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 父主题: 工作流实例管理
面向AI场景使用OBS+SFS Turbo的存储加速实践 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案。华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系
择“统一身份认证”。 在“用户”页面,搜索访问OBS失败的用户名,单击搜索到的用户名称,查看“所属用户组”。 在“用户组”页面,搜索该用户的所属用户组,在用户组的操作列,单击“权限配置”,查看已经授予的IAM权限。 桶策略检查方法 使用资源拥有者账号登录华为云,在右上角单击“控制台”。
如果需要配置其他指定的权限,选择对应动作即可。OBS支持的动作 核对权限配置信息,确认无误后单击“创建”,完成允许上传下载的桶策略创建。 权限配置信息可以在桶策略列表查看。 图2 查看桶策略列表权限配置信息 步骤二:其他账号给其下的IAM用户授权 需要由其他账号(非桶拥有者)给其下的IAM用户授权,允许IAM用户对
将桶中的对象权限设置为匿名用户读取权限后,可通过对象的URL直接下载该对象。获取对象URL的方式如下: 方式一,接口查询,ObsClient上传对象后会返回PutObjectResult对象,通过调用该对象的getObjectUrl接口可获取上传对象的URL。示例代码如下: 1 2 3 4 5 6 7