检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataX对接OBS 概述 DataX是一个数据同步框架，实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS
设置对象元数据(Java SDK) 功能说明 您可以在上传对象时设置对象元数据。对象元数据包含对象长度、对象MIME类型、对象MD5值（用于校验）、对象存储类别、对象自定义元数据。对象元数据可以在多种上传方式下（流式上传、文件上传、分段上传），或复制对象时进行设置。 开发过程中，
使用数据回源获取源站数据 一般情况下，当客户端访问OBS时，如果OBS中没有被访问的数据，将会返回404错误。OBS提供数据回源功能，可以在被请求的数据不存在时，通过回源规则从源站获取对应数据。 镜像回源 用户为桶定义镜像回源规则后，如果客户端访问OBS桶中不存在的资源，且该资源
以前设置的元数据是否被移除。 取值范围： true：设置为true后，此次设置元数据请求调用成功后，会把其他以前设置的元数据删除（标准元数据不受影响，自定义元数据只会保留新设置的）。 false：设置为false后，此次设置元数据请求调用成功后，保留以前设置元数据（标准元数据不受影响，自定义元数据只会保留新设置的）。
获取桶元数据 功能介绍 对桶拥有读权限的用户可以执行查询桶元数据是否存在的操作。 请求消息样式 1 2 3 4 HEAD / HTTP/1.1 Host: bucketname.obs.cn-north-4.myhuaweicloud.com Date: date Authorization:
数据管理 生命周期 桶清单 事件通知 使用数据回源获取源站数据 静态网站托管 重定向请求
在备份业务节点，负责直接将备份数据存储至OBS。 OBS 在备份场景下OBS负责存储备份数据，桶是OBS中存储数据的容器，最终数据都存储在OBS桶中。 一个CommCell是一个备份管理域 ，是软件的逻辑组合 ，包含获取数据 、传输数据 、管理数据和信息的所有软件组件。 备份流程
标准存储包（多AZ存储）的作用是什么？ 标准存储包（多AZ存储）用于抵扣多AZ桶产生的标准存储数据容量费用，仅可在支持多AZ特性的区域购买。 父主题： 计费相关
足不同场景下的用户需求。 包年/包月：一种预付费模式，即先付费再使用，按照订单的购买周期进行结算。购买周期越长，享受的折扣越大。一般适用于数据存储需求量长期稳定的成熟业务。 按需计费：一种后付费模式，即先使用再付费，按照OBS实际使用时长计费，秒级计费，按小时结算。按需计费模式允
及细粒度的权限控制，保障数据安全可信。 千亿对象，千万并发：OBS通过智能调度和响应，优化数据访问路径，并结合事件通知、传输加速、大数据垂直优化等，为各场景下用户的千亿对象提供千万级并发、超高带宽、稳定低时延的数据访问体验。 图2 千亿对象，千万并发的数据访问体验 简单易用，便于管理：OBS支持标准REST
获取自定义元数据 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。以下代码展示了如何获取自定义元数据： // 创建ObsClient实例 var
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
间进行数据迁移？ OBS会不会扫描我的数据用于其他用途？ 后台工程师能否导出我存储在OBS中的数据？ OBS如何保证我的数据不会被盗用？ OBS的持久性和可用性如何？ OBS单AZ和多AZ有什么区别？ OBS的数据冗余存储方式是什么？
为什么OBS存储的数据丢失了？ 请检查桶中是否设置了生命周期过期删除规则，符合规则的对象会被删除。 请检查桶是否授权了其他用户桶的写权限，被授权的用户都可以删除对象。如果您开启了日志记录功能，可以通过日志记录查询到删除对象的用户。 父主题： 产品咨询
printStackTrace(); } } } 相关链接 关于获取桶元数据的API说明，请参见获取桶元数据。 更多关于获取桶元数据的示例代码，请参见Github示例。 获取桶元数据过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 桶和对象相关常见问题请参见桶和对象相关常见问题。
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash，例如≥7.10.2的版本，避免使用较老版本的logstash。
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
企业数据权限控制最佳实践 部门公共数据权限管理 部门/项目之间数据共享 给业务部门授予独立的资源权限 业务部门之间桶资源隔离
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
