检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。
id：唯一标识，每个节点的标识都必须是唯一的。就算重启或升级Presto都必须还保持原来的标识。 node.data-dir：数据目录，Presto用它来保存log和其他数据 示例： node.environment=presto_cluster node.id=bigdata00 node
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
int、impl等。 core-site.xml配置完成后“重启”Hive集群，再重启Hive集群的“部署客户端配置”。 父主题： 对接大数据平台
需要使用IAM增加Tenant Administrator权限后才能设置、获取、删除在线解压策略。 在线解压源需使用IAM创建云服务委托，委托OBS获取桶内数据，上传数据到桶内。委托需要给OBS服务授予obs:object:PutObject、obs:object:GetObject、obs:objec
我对存储在OBS上的数据加密时，可支持哪些加密技术？ 您在将数据上传到OBS中前，可以事先对数据进行加密，以保证传输和保存的安全性。OBS不限定客户端加密的技术。 用户可根据需要对对象进行服务端加密，使对象更安全的存储在OBS中。 需要上传的对象可以通过数据加密服务器提供密钥的方
3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。 父主题： 对接大数据平台
接用来加密数据，系统先是从用户主密钥中派生出数据加密密钥和数据加密密钥的密文，然后使用数据加密密钥来加密OBS对象，加密完成后，OBS存储数据加密密钥的密文和对象密文。 图2 SSE-KMS解密流程 解密对象时，如图2所示，KMS云服务先解密数据加密密钥密文，然后用数据加密密钥来
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外，
境外数据传输回国场景下的丢包和网络稳定性问题 在数据跨境传输场景下，由于您所在的网络环境可能处在运营商网络边缘节点，向运营商网络请求成功率比较低，所以可能会出现丢包和网络稳定性问题。 建议您先使用跨区域复制或者云连接 CC将数据传输回国，然后再从国内访问和下载数据。 父主题： 产品咨询
您可以使用多种方式配置桶清单，详情请参见桶清单。 清单文件中包含的内容 清单文件中的内容由设置的清单配置而定，所有可能的字段见表1。 表1 清单中列出的对象元数据 元数据 说明 Bucket 源桶的桶名。 Key 键值，即对象的名称，一个桶里的每个对象拥有唯一的对象键值。（清单文件中的对象名采用UTF-8的URL编码，需解码后才能使用）。
您可以在创桶的时候选择将桶中数据冗余存储在多个可用区，以获得更高的数据可靠性。OBS采用Erasure Code（EC，纠删码）算法做数据冗余，不是以副本的形式存储。 支持的区域请参见功能总览。 × √ 数据回源 您可以利用数据回源功能，实现向OBS请求数据不存在时，通过回源规则自动从源站获取对应数据。
配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
移动应用直传 移动应用直传方案概述 使用临时安全凭证直传OBS 使用预签名URL直传OBS 父主题： 数据直传OBS
目录分享 如果您想将一个文件夹分享给其他人，同时希望能够指定有效期，OBS Browser+提供文件夹分享和授权码登录的功能，轻松为你完成数据分享。 首先，您登录OBS Browser+后，选择您要分享的目录右键或者单击操作栏的分享按钮。 然后，选择分享链接的有效期，并输入提取码
部门之间桶资源隔离。 搬迁本地数据至OBS 本章节根据用户本地（个人电脑或自建存储服务器）数据大小，介绍了几种将本地数据搬迁至OBS的方式，并针对不同方式提供了对应操作流程及指导。 迁移第三方云厂商的数据至OBS 本章节根据存储在第三方云厂商的数据量及迁移场景，介绍了几种迁移方式
文件产生的回源流量费用。 公网流出流量包用于抵扣通过互联网从OBS下载数据到本地所产生的公网流出流量费用。 不同场景产生的流量类型如下： 用户在控制台执行对象下载和其他查询类操作（列举对象、获取桶或对象的元数据等），或者在公网使用工具、SDK不经过CDN直接下载对象都会产生公网流出流量。
Data+ Data+已下线，如果需要使用数据处理服务，可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 配置Data+ 自定义函数开发规范 预置模板参数说明 Data+最佳实践 父主题： 数据处理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
