检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
空间。每个对象都存放在一个桶中。例如,如果名为“picture.jpg”的对象存放在“photo”桶中,则可使用URL(http://photo.obs.cn-north-4.myhuaweicloud.com/picture.jpg)对该对象进行寻址。 对象 对象在OBS中是最
上传/下载性能优化 OBS Browser+对大于50MB的文件/对象默认采用分段方式进行上传/下载,与分段任务相关的参数都在“系统设置”->“基础设置”中。 表1 参数 描述 最大并行任务数 任务同时运行的最大数量,默认是3,取值范围是:1~50。 单任务最大并发数 每个任务的
21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。 SFS Turbo费用:详见SFS计费说明。 ModelArts费用:详见ModelArts计费说明。
据您的自身情况选择。 资源池:专属资源池,选择创建资源中创建的ModelArts资源池。 SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 图1 创建训练作业参数 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
签名不匹配(SignatureDoesNotMatch)如何处理 问题现象 调用OBS API报如下错误: 状态码:403 Forbidden 错误码:SignatureDoesNotMatch 错误信息:The request signature we calculated does
CreateSignedUrl(putObjectInput) if err != nil { fmt.Println(err) return } fmt.Printf("SignedUrl:%s\n", putObjectOutput.SignedUrl)
详情请参见通过临时URL访问OBS。 开启敏感操作多因子认证保护您的数据不被误删 OBS支持敏感操作保护,开启后执行删除桶等敏感操作时,系统会进行身份验证,进一步保证OBS配置和数据的安全性,对数据的高危操作进行控制。详情请参见敏感操作。 加密存储数据 OBS支持SSE-KMS
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
网络CDN和弹性云服务器ECS快速构建动静态分离的网站/应用系统。 终端用户浏览器和APP上的动态数据直接与搭建在华为云上的业务系统进行交互,动态数据请求发往业务系统处理后直接返回给用户。静态数据保存在OBS中,业务系统通过内网对静态数据进行处理,终端用户通过就近的高速节点,直接向OBS请求和读取静态数据。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
OBS性能优化建议 OBS按照对象名的UTF-8编码范围来进行分区管理,对系统进行水平扩展与动态负载均衡。如果用户在对象命名规则上使用了顺序前缀(如时间戳或字母顺序),可能导致大量对象的请求访问集中于某个特定分区,造成访问热点。热点分区上的请求速率受限,访问时延上升。 推荐使用随
合并段 功能介绍 如果用户上传完所有的段,就可以调用合并段接口,系统将在服务端将用户指定的段合并成一个完整的对象,了解完整的分段上传流程请参见分段上传。在执行“合并段”操作以前,用户不能下载已经上传的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中
状态码:403 Forbidden 错误码:SignatureDoesNotMatch 错误信息:The request signature we calculated does not match the signature you provided. Check your key
bucketname) fmt.Printf("RequestId:%s\n", output.RequestId) return } fmt.Printf("Head bucket(%s) fail!\n", bucketname) if obsError
火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域
SAN存储处理的是管理磁盘的问题,其他事情都要依靠上层的应用程序实现。 NAS存储提供给应用的是一个文件系统或者是一个文件夹,上层应用通过NFS和CIFS协议进行访问。文件系统要维护一个目录树。 对象存储更加适合web类应用,基于URL访问地址提供一个海量的桶存储空间,能够存储各
挂载的桶不是并行文件系统。 解决办法: 创建一个并行文件系统后再重新挂载。创建的方法参见创建并行文件系统。 现象三:挂载并行文件系统时出现“The request signature we calculated does not match the signature you provided
okhttp3.MediaType) PUT上传和POST上传有什么区别? 追加上传对象是否支持并发场景下的锁机制? 签名不匹配(SignatureDoesNotMatch)如何处理