检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可选 参数解释: 并行文件系统的ACL是否向并行文件系统内对象传递,作用于并行文件系统内所有对象。 取值范围: true:是,并行文件系统ACL向并行文件系统内对象传递。 false:否,并行文件系统ACL不向并行文件系统内对象传递,仅作用于并行文件系统。 默认取值: false
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
FS文件系统的相关接口实现,让大数据计算引擎(Hive、Spark等)可以将OBS作为HDFS协议的底层存储。 图2 存算分离方案中的OBSFileSystem OBS服务支持对象存储桶(对象语义)和并行文件系统(POSIX文件语义),在大数据场景下建议选择并行文件系统。并行文件
存储类别概述 使用场景 伴随着互联网的高速发展,数据存储场景越来越多样化,单一的存储类别已无法满足多样化的存储场景和成本管理诉求。OBS设计了多种存储类别,支持的存储类别有标准存储、低频访问存储、归档存储、深度归档存储(受限公测),您可以结合自身业务合理选择。不同规格的存储类别计费参见存储费用。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
状态码:403 Forbidden 错误码:SignatureDoesNotMatch 错误信息:The request signature we calculated does not match the signature you provided. Check your key
火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域
挂载的桶不是并行文件系统。 解决办法: 创建一个并行文件系统后再重新挂载。创建的方法参见创建并行文件系统。 现象三:挂载并行文件系统时出现“The request signature we calculated does not match the signature you provided
SAN存储处理的是管理磁盘的问题,其他事情都要依靠上层的应用程序实现。 NAS存储提供给应用的是一个文件系统或者是一个文件夹,上层应用通过NFS和CIFS协议进行访问。文件系统要维护一个目录树。 对象存储更加适合web类应用,基于URL访问地址提供一个海量的桶存储空间,能够存储各
列举并行文件系统(Go SDK) 功能介绍 OBS并行文件系统是对象的容器,您上传的文件都存放在并行文件系统中。调用获取并行文件系统列表接口,可列举当前账号所有地域下符合指定条件的并行文件系统。返回结果以并行文件系统名的字典序排序。 接口约束 您必须拥有obs:bucket:Li
listBuckets(); 相关链接 关于并行文件系统的更多说明,请参见什么是并行文件系统。 获取并行文件系统列表过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 列举并行文件系统常见问题请参见并行文件系统常见问题 父主题: 并行文件系统相关接口(Harmony SDK)
云数据迁移(Cloud Data Migration,CDM)提供同构/异构数据源之间批量数据迁移服务。CDM通过创建定时作业,将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接,从而实现定时、自动地将本地数据搬迁至OBS。 图1 CDM方式搬迁数据示意图 创建OBS桶
签名不匹配异常 如果从ObsException中获取到HTTP状态码为403,OBS服务端错误码为SignatureDoesNotMatch,请检查AK/SK是否有误。 父主题: 异常处理
签名不匹配异常 如果从ObsException中获取到HTTP状态码为403,OBS服务端错误码为SignatureDoesNotMatch,请检查AK/SK是否有误。 父主题: 异常处理
签名不匹配异常 如果从ObsException中获取到HTTP状态码为403,OBS服务端错误码为SignatureDoesNotMatch,请检查AK/SK是否有误。 父主题: 异常处理
ObsClient) CreateBrowserBasedSignature(input *CreateBrowserBasedSignatureInput) (output *CreateBrowserBasedSignatureOutput, err error) 请求参数说明 表1 请求参数列表
默认取值: 无 signature str 参数解释: 表单中的signature。示例如下: g0jQr4v9VWd1Q2FOFDG6LGfV9Cw= 默认取值: 无 代码样例 此用例用于生成带授权信息的表单上传参数policy和signature。 1 2 3 4
签名不匹配异常 如果从请求响应中获取到HTTP状态码为403,OBS服务端错误码为OBS_STATUS_SignatureDoesNotMatch,请检查AK/SK是否有误。 父主题: 异常处理