检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
server_name 提供反向代理服务的IP地址，即需要暴露给终端用户访问的固定IP地址。 此处填写搭建Nginx反向代理服务的ECS弹性公网IP地址，即当前登录的ECS弹性公网IP地址。 proxy_pass 被代理服务器的地址。 此处填写前提条件获取的OBS桶的访问域名，注意需要以http://或https://开头，例如：
为桶配置服务端加密后，OBS会对历史对象进行加密吗？ 不会。 OBS只对服务器端加密配置生效后上传的对象进行加密，不会加密历史对象。如果您需要加密历史对象，需删除历史对象后重新上传。 父主题： 服务端加密
功能，并且无法暂停。 本接口设置桶的多版本状态，用来开启或暂停桶的多版本功能。 设置桶的多版本状态为Enabled，开启桶的多版本功能： 上传对象时，系统为每一个对象创建一个唯一版本号，上传同名的对象将不再覆盖旧的对象，而是创建新的不同版本号的同名对象 可以指定版本号下载对象，不指定版本号默认下载最新对象；
类型：String 是 host 发起回调请求的Host头域的值，如果不设置，会使用url解析出来的Host。 类型：String 否 body 发起回调请求的body体。body体格式必须符合body-type中设置的媒体类型。 body的内容必须经过URL安全base64编码。
无效的桶名（使用了不合法的桶名）。 403 Forbidden 拒绝访问 客户端请求中携带的签名和服务端计算出的签名不匹配（一般是AK/SK错误）； 权限不足（账号对请求的资源无权限）； 账号欠费； 桶的空间不足（出现在对桶设置了配额的场景）； 无效的AK； 客户端时间和服务端
Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。 HDFS协议：Hado
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
environment：环境名字，Presto集群中的节点的环境名字都必须是一样的。 node.id：唯一标识，每个节点的标识都必须是唯一的。就算重启或升级Presto都必须还保持原来的标识。 node.data-dir：数据目录，Presto用它来保存log和其他数据 示例： node.enviro
清单文件中包含的内容 清单文件中的内容由设置的清单配置而定，所有可能的字段见表1。 表1 清单中列出的对象元数据 元数据 说明 Bucket 源桶的桶名。 Key 键值，即对象的名称，一个桶里的每个对象拥有唯一的对象键值。（清单文件中的对象名采用UTF-8的URL编码，需解码后才能使用）。
白名单Referer为空，黑名单Referer不空时，允许所有黑名单中指定网站以外的其他网站的请求访问目标桶中的数据。 白名单Referer不为空，黑名单Referer为空或不空时，允许在白名单且不在黑名单中的网站的请求访问目标桶中的数据。 当白名单Referer与黑名单Referer内容有交集时，
对象的存储类型。 x-obs-meta-* String 否 参数解释： 第一次写时，可以在HTTP请求中加入以“x-obs-meta-”开头的消息头，用来加入自定义的元数据，以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时，加入的自定义元数据将会在返回消息的头中出现。
桶名称 桶的名称 桶类型 对象存储 还是 并行文件系统。 区域 桶所在的区域。 存储类别 桶的存储类别，有标准存储、低频访问存储、归档存储三种类别。 桶版本号 桶的版本号。 存储用量 桶中存储的对象占用的存储空间。 对象数量 桶中存储的对象数量。 多AZ 多AZ功能的状态。 开启多AZ后，数据冗余存储至多个AZ中。
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
单击“复制”。 选择复制源，即事件触发器所在的源桶。 从源桶复制事件触发器的操作为增量复制，不会删除当前桶已存在的事件触发器，与已存在的事件触发器冲突的规则不会复制。 源桶和目标桶的桶版本号都必须是3.0。 源桶和目标桶必须在同一区域。 您可以按需移除不需要复制的事件触发器。 单桶事件触发器上
本。 数据复制 由于业务原因，您需要将OBS数据从一个区域的数据中心迁移至另一个区域的数据中心。 数据备份与容灾 出于对数据安全性以及可用性的考虑，您希望对所有写入OBS的数据，都在另一个区域的数据中心显式地创建一个备份，以防止在数据发生不可逆损毁时，有安全、可用的备份数据。 易维护
使用HTTPS时的加密协议类型。 N/A ProxyHost 代理服务器的主机地址。 N/A ProxyPort 代理服务器的端口号。 N/A ProxyUserName 连接代理服务器时使用的用户名。 N/A ProxyPassword 连接代理服务器时使用的用户密码。 N/A
具备访问OBS权限的sk。 bucket OBS的桶名称。 size_file 指定文件滚动大小（字节）。当文件大小达到设定的值时，会生成一个新的文件。 time_file 设置文件滚动周期（分钟）。当数据写入达到设定周期时，会生成一个新的文件。 prefix 指定文件存储的目录，例如“
之后新上传的对象生效。当对象同时被桶级WORM和对象级WORM覆盖时，优先遵从对象级WORM的保护策略。 注意事项 开启了桶级WORM开关，系统将自动开启多版本，并且不允许暂停多版本。WORM保护是基于对象版本号的，配置WORM的版本受到WORM保护，没有配置WORM的版本可正常删除。例如，test
最佳实践中涉及的资源如下： 表1 资源说明 资源 资源说明 应用客户端（APP Client） 最终用户手机上的APP，负责向应用服务器发出申请临时安全凭证的请求，以及访问OBS完成数据上传或下载。 应用服务器（APP Server） 提供该Android/iOS应用的开发者开发的APP后台服务，用于用户管理和授权管理等。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
