检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 存储类别对比 对比项目 标准存储 低频访问存储 归档存储 深度归档存储(受限公测) 特点 高性能、高可靠、高可用的对象存储服务 高可靠、较低成本的实时访问存储服务 归档数据的长期存储,存储单价更优惠 深度归档数据的长期存储,存储单价相比归档存储更优惠 应用场景 云应用、数据分享、内容分享、热点对象
1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。 父主题: 对接大数据平台
启用跨区域复制规则后,符合以下条件的对象会复制到目标桶中: 新上传的对象(归档存储或深度归档存储对象除外)。 有更新的对象,比如对象内容有更新,或者某一对象跨区域复制成功后源桶对象ACL设置有更新。 桶中的历史对象(需要开启“同步历史对象”功能,且归档存储或深度归档存储对象除外)。 父主题: 跨区域复制
t、impl等。 core-site.xml配置完成后“重启”Hive集群,再重启Hive集群的“部署客户端配置”。 父主题: 对接大数据平台
流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外,还可以直接与开源的大数据组件对接。当您使用开源的
标准存储->深度归档存储 存储费用 转换为深度归档存储后,按深度归档存储计算存储费用。 低频访问存储->深度归档存储 存储费用 转换为深度归档存储后,按深度归档存储计算存储费用。 当低频访问存储早于30天转换为深度归档存储,需要补足剩余天数的低频存储费用。 归档存储->深度归档存储 存储费用
涉政等违法违规内容,OBS和第三方平台(微信/支付宝/百度等)检测到后会封禁此资源。第三方平台在封禁此资源的同时,会将OBS域名列为不信任域名,导致其他合法使用OBS域名的用户也受到影响。 解决方案 需要通过第三方平台,如微信/支付宝/百度等平台或小程序使用OBS的用户,建议使用自定义域名访问OBS资源,避免封禁。
使用账号登录时,界面提示“没有权限登录” 在使用OBS Browser+过程中,如果使用账号登录时提示“没有权限登录”,原因是统一身份认证服务平台认证失败。 可按照以下步骤排查解决问题: 联系当前租户的安全管理员,登录统一身份认证服务控制台。 查看当前AK所属用户是否被禁用。 查看当
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
时间计费。例如,一个深度归档存储对象在OBS中存储了170天后删除,会按照180天计费。 数据恢复:深度归档存储需要先恢复才能访问。深度归档存储恢复方式有标准和加急两种,标准恢复耗时5~12 h,加急恢复耗时3~5 h。 数据恢复是指对于低频、归档存储和深度归档存储的对象,在访问
通过控制台快速使用OBS 控制台是网页形式的操作平台,提供更直观的界面操作,简单易上手。 本章节以上传对象至“test-example-bucket”桶为例,帮助您通过控制台快速使用OBS的基础功能,包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用OBS之前,您需要拥有
获取桶存储类别(Node.js SDK) 功能介绍 OBS提供了这几种存储类别:标准存储、低频访问存储、归档存储、深度归档存储(受限公测中),从而满足客户业务对存储性能、成本的不同诉求,详情可参见OBS存储类别存储类别存储类别。 调用获取桶存储类别接口,可获取指定桶的存储类别。 接口约束
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 OBS提供了这几种存储类别:标准存储、低频访问存储、归档存储、深度归档存储(受限公测中),从而满足客户业务对存储性能、成本的不同诉求,详情可参见OBS存储类别存储类别存储类别。 调用设置桶存储类别接口,可
获取桶存储类型(Go SDK) 功能介绍 OBS提供了这些存储类型:标准存储、低频访问存储、归档存储、深度归档存储(受限公测中),从而满足客户业务对存储性能、成本的不同诉求,详情可参见OBS存储类型。 调用获取桶存储类型接口,可获取指定桶的存储类型。 接口约束 您必须是桶拥有者或
COLD 归档存储 参数解释: 归档存储适用于很少访问(平均一年访问一次)数据的业务场景。 DEEP_ARCHIVE 深度归档存储(受限公测) 参数解释: 深度归档存储适用于长期不访问(平均几年访问一次)数据的业务场景。 代码样例 本示例用于获取名为examplebucket的桶存储类型。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
出流量费用。 归档存储公网流出流量:恢复归档存储对象后,通过互联网下载归档存储对象所产生的流出流量费用。 深度归档存储公网流出流量:恢复深度归档存储对象后,通过互联网下载深度归档存储对象所产生的流出流量费用。 如果要减少公网流出流量,可以按照以下方法: 检查桶是否开启了公共读 如
Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo的存储加速方案的过程中,您可以进行采取以下运维措施,保证系统正常高效运行:
您可以根据需要将存储在OBS中的对象下载到本地。 OBS支持批量下载对象,详情请参见OBS批量下载文件操作指导。 约束与限制 对于存储类别为归档存储或深度归档存储的对象,需要确认对象的状态为“已恢复”才能对其进行下载。 基于安全合规要求,自2023年12月30日起,华为云OBS将禁止使用桶默认域名通过公网访问后缀为
设置桶存储类别(Java SDK) 功能说明 OBS提供了这些存储类别:标准存储、低频访问存储、归档存储、深度归档存储(受限公测中),从而满足客户业务对存储性能、成本的不同诉求,详情可参见OBS存储类别。 调用设置桶存储类别接口,可设置指定桶的存储类别。设置了桶的默认存储类别之后