检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据场景下使用OBS实现存算分离 本最佳实践主要提供华为云大数据存算分离方案中不同大数据平台和大数据组件与对象存储服务OBS的对接指导,以及HDFS数据迁移至对象存储服务OBS的方案。
OBS可以作为其他云服务的数据分析学习的数据源,例如MapReduce服务 (MapReduce Service,MRS), AI开发平台ModelArts等。
关于生命周期规则的元素组成和语法说明可参考生命周期元素说明 配置生命周期规则的具体步骤参见配置生命周期规则 更多生命周期规则示例可参考生命周期配置示例 生命周期相关时间点 生命周期执行的几个关键时间点如下: 对象的最后一次修改时间 规则计时起点 规则执行完成时间 对于OBS对象桶,上传后的对象不支持直接在线修改
表3 特殊错误 错误码 描述 HTTP状态码 Bad Request Invalid Access-Control-Request-Method: null 桶配置了CORS,OPTIONS桶时,没有加入method头域。
您也可以在一台Windows计算机上下载到软件包后,通过常见的跨平台传输工具(比如WinSCP)传输至您的Linux运行机。 在软件包所在目录,执行以下解压命令。
putObject successfully"); } catch (ObsException e) { System.out.println("putObject failed"); // 请求失败,打印http状态码
Windows Server 2016 Linux SUSE 11 Euler OS 2 CentOS 7 macOS macOS 10.13.4 工具优势 obsutil具有四大优势: 简单、易用; 无需安装,轻便小巧,即下即用; 同时支持Windows/Linux/macOS三大平台
上传下载速度慢 上传对象失败原因 通过生命周期批量删除大规模对象 如何设置视频对象在线播放? 如何进行对象加密上传? 更多 API&SDK等开发者相关 OBS是否有删除碎片的API? 使用OBS SDK上传超过5GB的大文件失败? PUT上传和POST上传有什么区别?
5 多AI开发平台、生态兼容 pytorch、mindspore等主流AI应用框架,kubernetes容器引擎、算法开发场景通过文件语义访问共享数据,无需适配开发。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。
当前各区域特性开放不一致,部分特性只在部分区域开放,使用过程中如果接口HTTP状态码为405,请确认该区域是否支持该功能特性。 父主题: 快速入门
使用OBS SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制,单次可上传的最大文件为5GB,如果需要上传超过5GB的大文件,需要通过OBS服务端提供的分段上传接口实现。具体步骤为: 调用OBS服务端初始化上传段任务接口,生成分段上传ID(Upload ID)。
当前新创建桶的版本为OBS3.0,该桶内的对象也存储到OBS3.0云存储平台,以前创建的桶仍保存在OBS2.0里。 OBS的基础特性和功能在OBS 3.0和OBS 2.0都支持。但一些新特性仅在OBS 3.0支持,比如对象级存储类别、联邦认证、图片处理、跨域区域复制等。
表13 ObsBucket 参数名称 参数类型 描述 statusCode int 参数解释: HTTP状态码。 取值范围: 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。 完整的状态码列表请参见状态码。
使用obsutil实现目录分享 目录分享允许桶的拥有者将桶的目录或者整个桶以授权码+提取码的形式分享给其他用户。获取到授权码和提取码的用户,可以在授权码的有效期内通过OBS提供的工具(OBS Browser、obsutil),或者直接在浏览器上输入授权码进行对象的列举和下载。
返回结果 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。
当事件或错误发生时,可以指定不同的返回码。 类型:Container 父节点:RoutingRule 是 Protocol 描述重定向请求时使用的协议。
取值范围: 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。 完整的状态码列表请参见状态码。 默认取值: 无 responseHeaders Map<String, Object> 参数解释: 响应消息头列表,由多个元组构成。
签名不匹配异常 如果从ObsException中获取到HTTP状态码为403,OBS服务端错误码为SignatureDoesNotMatch,请检查AK/SK是否有误。 父主题: 异常处理
签名不匹配异常 如果从ObsException中获取到HTTP状态码为403,OBS服务端错误码为SignatureDoesNotMatch,请检查AK/SK是否有误。 父主题: 异常处理
业务割接方案 如涉及业务割接,请参考以下方案。 使用“回源配置方案”迁移增量对象数据 使用“源端/目的端双写方案”方案迁移增量对象数据 使用"多次同步方案"迁移增量对象数据 OBS镜像回源方式 一般情况下,当客户端访问OBS时,如果OBS中没有被访问的数据,将会返回404错误。