检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
通过进程等方式调用obsutil时，无法实时查看回显信息。obsutil支持在进程运行结束后，根据不同的运行结果生成不同的返回码，具体的返回码及其含义如表1所示。您可以通过以下方式获取最近一次运行结果的返回码，然后根据返回码分析并处理问题。 macOS/Linux操作系统，执行以下命令获取最近一次运行结果的返回码：
件时不会产生一致性问题，但是OBS实现的HDFS协议不支持租约Lease机制（并发写同一个文件时将产生不可确定的状态），所以在flume场景下可以通过文件命名规则进行解决。 如sink文件的命名规则：hostname-sinkname作为文件的前缀，如果一个主机上部署了多个flume
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
aders str 参数解释： 如果请求的RequestHeader满足桶的CORS规则，则返回CORS规则中的AllowedHeader。AllowedHeader是指允许的跨域请求的头域。只有匹配上允许的头域中的配置，才被视为是合法的CORS请求。 约束限制： 最多可填写一个
ta-”开头的消息头来加入自定义的元数据，以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时，加入的自定义元数据将会在返回的消息头中出现。 约束限制： 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为：每个键和值的UTF-8 编码中的字节总数。
获取总存储量数据时，存在部分桶容量获取失败的情况。 主账号为子账号设置了企业项目授权，此时子账号登录后查询的总存储量为部分桶（子账号有权限的桶）的数据，而标准存储量、低频访问存储量、归档存储量数据查询的是主账号下所有桶的数据。 账号中存在SFS 3.0的桶，总存储量数据不包含该类型的桶，而标准存储量、低
软件：Ambari：2.7.1.0，HDP：3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具：下载地址。 下载OBSA-HDFS工具的jar包（如hadoop-huaweicloud-3.1.1-hw-53.8.jar）到/mnt/obsjar目录。
象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 断点续传上传的原理是将待上传的文件分成若干个分段分别上传，并实时地将每段上传结果统一记录在断点续传记录对象中，仅当所有分段都上传成功时返回上传成功的结果，否则在回调函数中返回错误码提醒用户通过传入断点续传记录对象再次调用接口进行重新上传。
具备访问OBS权限的sk。 bucket OBS的桶名称。 size_file 指定文件滚动大小（字节）。当文件大小达到设定的值时，会生成一个新的文件。 time_file 设置文件滚动周期（分钟）。当数据写入达到设定周期时，会生成一个新的文件。 prefix 指定文件存储的目录，例如“
解释： node.environment：环境名字，Presto集群中的节点的环境名字都必须是一样的。 node.id：唯一标识，每个节点的标识都必须是唯一的。就算重启或升级Presto都必须还保持原来的标识。 node.data-dir：数据目录，Presto用它来保存log和其他数据
本对象和所有历史版本的对象总和。 桶策略 桶的桶策略，有私有桶、公开桶两种类别。 桶版本号 桶的版本号。“3.0”表示最新版本的桶；“--”表示老版本的桶。 集群类型 桶所属集群。 企业项目 桶所属的企业项目。 账号ID 桶的拥有者全局唯一标识，与“我的凭证”页面的“账号ID”相同。
映变化的内容，而不是其元数据。上传的对象或拷贝操作创建的对象，都有唯一的etag。 约束限制： 当对象是服务端加密的对象时，etag值不是对象的MD5值。 取值范围： 长度为32的字符串。 默认取值： 无 versionId String 参数解释： 对象的版本号。如果桶的多版本状态为开启，则会返回对象的版本号。
在开启了WORM开关的桶中，使用追加写上传对象将失败并返回403。 ETag返回的是本次追加上传数据的Hash值，不是整个对象的Hash值。 当追加文件已存在时： 如果待追加的文件为追加类型文件，当设置的追加位置和文件当前长度相等，则直接在该文件末尾追加内容；当设置的追加位置和文件当
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
8是OBSA的版本号。 如hadoop版本为3.1.x，则选择hadoop-huaweicloud-3.1.1-hw-53.8.jar。 增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令，命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。
ta-”开头的消息头来加入自定义的元数据，以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时，加入的自定义元数据将会在返回的消息头中出现。 约束限制： 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为：每个键和值的UTF-8 编码中的字节总数。
读取ACL配置的权限。 如果有读ACP的权限，则可以获取对应的桶或对象的权限控制列表（ACL）。 桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 WRITE_ACP 修改ACL配置的权限。 如果有写ACP的权限，则可以更新对应桶或对象的权限控制列表（ACL）。 桶或对象的所有者永远拥有写对应桶或对象的ACP的权限。
桶所属区域。请选择靠近您业务的区域，以降低网络时延，提高访问速度。 桶创建成功后，不支持变更区域，请谨慎选择。 存储类别 标准存储 桶的存储类别。不同的存储类别可以满足客户业务对存储性能、成本的不同诉求。 标准存储：适用于有大量热点文件或小文件，且需要频繁访问（平均一个月多次）并快速获取数据的业务场景。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
