检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
数据保护技术 OBS通过多种数据保护手段和特性,保障存储在OBS中的数据安全可靠。 表1 OBS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密(HTTPS) OBS支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(
获取桶元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.GetBucketMetadata接口获取桶元数据。 本示例用于获取桶名为“bucketname”的元数据信息。
也可以根据实际场景需求,按照“大小”和“最后修改时间”进行排序列举对象。 如果您的桶已开启了多版本控制功能,可以在对象列表页选择是否展示历史版本对象。 约束与限制 OBS不支持列举指定页数的对象。 OBS不支持通过时间排序找到某个时间上传的对象,只能通过按前缀搜索找到目标对象。
要查询以事件触发的工作流实例列表 默认取值: 无 nextMarker 否 str 参数解释: 列举列表时,指定一个标识符,返回的工作流实例列表将是按照字典顺序排序后这个标识符以后的所有工作流实例。 约束限制: 该标识由两部分组成:触发类型+工作流实例名 其中触发类型枚举值见“executionType”字段的约束。
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
获取自定义元数据(Java SDK) 功能说明 元数据(Metadata)为描述对象属性的信息,是一组键值对,用作对象管理的一部分。 本接口可以在下载对象成功后返回对象的自定义元数据。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。
大数据场景下使用OBS实现存算分离方案概述 应用场景 随着大数据技术的飞速发展,对数据价值的认识逐渐加深,大数据已经融入到了各行各业。根据相关调查报告数据显示,超过39.6%的企业正在应用大数据并从中获益;超过89.6%的企业已经成立或计划成立相关的大数据分析部门;超过六成的企业
为什么OBS存储的数据丢失了? 如果您的OBS中存储的数据丢失了,请按照以下原因排查: 请检查桶中是否设置了生命周期过期删除规则,符合规则的对象会被删除。 请检查桶是否授权了其他用户桶的写权限,被授权的用户都可以删除对象。如果您开启了日志记录功能,可以通过日志记录查询到删除对象的用户。
获取自定义元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。以下代码展示了如何获取自定义元数据: // 创建ObsClient实例 var
获取桶元数据 功能介绍 对桶拥有读权限的用户可以执行查询桶元数据是否存在的操作。 请求消息样式 1 2 3 4 HEAD / HTTP/1.1 Host: bucketname.obs.cn-north-4.myhuaweicloud.com Date: date Authorization:
获取桶元数据(Java SDK) 功能说明 调用获取桶元数据接口,可获取指定桶的相关信息,包括指定桶的存储类别、区域位置、跨域资源共享(CORS)规则、冗余策略等信息。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束
数据安全、迁移和备份 我的数据存在OBS中,如何保证安全性? OBS数据删除或覆盖后是否可以恢复? 在使用访问密钥AK和SK访问OBS过程中,AK和SK是否可以更换或多个用户共享? 如何迁移数据至OBS? OBS如何实现备份和容灾? 如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移?
企业数据权限控制最佳实践 部门公共数据权限管理 部门/项目之间数据共享 给业务部门授予独立的资源权限 业务部门之间桶资源隔离
如果桶内已存在同名对象,如何判定覆盖上传成功?(Java SDK) 上传完成后,您可以调用ObsClient.getObjectMetadata接口获取目标对象大小和最后修改时间,再与数据源进行比较: 如果两者大小一致且目标对象的最后修改时间晚于数据源的最后修改时间则表明上传成功,否则上传失败。
对象 对象(Object)是OBS中数据存储的基本单位,一个对象实际是一个文件的数据与其相关属性信息(元数据)的集合体。用户上传至OBS的数据都以对象的形式保存在桶中。 对象包括了Key,Metadata,Data三部分: Key:键值,即对象的名称,为经过UTF-8编码的长度大
功能介绍 OBS桶是对象的容器,您上传的文件都存放在桶中。调用获取桶列表接口,可列举当前账号所有地域下符合指定条件的桶。返回结果以桶名的字典序排序。 接口约束 您必须拥有obs:bucket:ListAllMyBuckets权限,才能获取桶列表。建议使用IAM进行授权,配置方式详见使用IAM自定义策略。
功能介绍 OBS桶是对象的容器,您上传的文件都存放在桶中。调用获取桶列表接口,可列举当前账号所有地域下符合指定条件的桶。返回结果以桶名的字典序排序。 接口约束 您必须拥有obs:bucket:ListAllMyBuckets权限,才能获取桶列表。建议使用IAM进行授权,配置方式详见使用IAM自定义策略。
功能介绍 OBS桶是对象的容器,您上传的文件都存放在桶中。调用获取桶列表接口,可列举当前账号所有地域下符合指定条件的桶。返回结果以桶名的字典序排序。 接口约束 您必须拥有obs:bucket:ListAllMyBuckets权限,才能获取桶列表。建议使用IAM进行授权,配置方式详见使用IAM自定义策略。