检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
快速入门 OBS服务环境搭建 开发环境准备 安装SDK 获取服务地址 配置桶允许跨域请求 初始化OBS客户端 上传对象 下载对象 列举对象 删除对象 OBS客户端通用示例 预定义常量
ssue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 除了桶访问权限外,桶的拥有者还可以通过桶策略,提供对桶和桶内对象的集中访问控制。 更多关于桶策略的内容请参考桶策略。 设置桶策略 您可以通过ObsClient->setBucketPolicy设置桶策略。示例代码如下:
createPostSignature生成用于鉴权的请求参数。 准备表单HTML页面。 将生成的请求参数填入HTML页面。 选择本地文件,进行表单上传。 使用SDK生成用于鉴权的请求参数包括两个: policy,对应表单中policy字段。 signature,对应表单中的signature字段。 以
用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予OBS OperateAccess的系统策略,但不希望用户拥有OBS OperateAccess中定义的上传对象的权限,您可以创建一条拒绝上传对象的自定义策略,然后同时将OBS
ta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制: 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为:每个键和值的UTF-8 编码中的字节总数。
为写入该存储桶的日志创建额外的日志,这将增加您的存储账单费用,且由于额外日志的存在,将使您在寻找需要的日志时更加困难。 桶日志上传会产生相应的PUT请求费用,PUT请求费用的具体说明请参考OBS计费说明。 当日志记录开启后,目标存储桶的日志投递用户组会同步开启桶的写入权限和ACL
S实现的HDFS协议不支持租约Lease机制(并发写同一个文件时将产生不可确定的状态),所以在flume场景下可以通过文件命名规则进行解决。 如sink文件的命名规则:hostname-sinkname作为文件的前缀,如果一个主机上部署了多个flume agent,不同的agent要有不同的sinkname。
快速入门 使用前需知 OBS服务环境搭建 开发环境准备 安装SDK 获取服务地址 引入依赖 初始化OBS客户端 创建桶 上传对象 下载对象 列举对象 删除对象 OBS客户端通用示例 预定义常量
OPTIONS对象 功能介绍 请参见章节 OPTIONS桶。 与OPTIONS桶的区别 OPTIONS对象需在URL中指定对象名;OPTIONS桶提交的URL为桶域名,无需指定对象名。两者的请求行分别为: OPTIONS /object HTTP/1.1 OPTIONS / HTTP/1
其账号下的IAM用户;授权的范围是以桶为粒度的,一条ACL策略为一个桶设置策略,因此设置ACL策略时您必须明确指定桶名;桶ACL授予的权限包括桶的访问权限和桶ACL的访问权限两个方面,桶的访问权限包括对桶及桶内对象的查看和编辑权限,桶ACL的访问权限包括对桶ACL策略的查看和编辑
SDK) OBS服务环境搭建(Node.js SDK) 开发环境准备(Node.js SDK) 安装SDK(Node.js SDK) 获取服务地址(Node.js SDK) 初始化OBS客户端(Node.js SDK) 创建桶(Node.js SDK) 上传对象(Node.js SDK)
其账号下的IAM用户;授权的范围是以桶为粒度的,一条ACL策略为一个桶设置策略,因此设置ACL策略时您必须明确指定桶名;桶ACL授予的权限包括桶的访问权限和桶ACL的访问权限两个方面,桶的访问权限包括对桶及桶内对象的查看和编辑权限,桶ACL的访问权限包括对桶ACL策略的查看和编辑
断点续传上传接口是利用分段上传特性实现的,是对分段上传的封装和加强。 断点续传上传接口不仅能在失败重传时节省资源提高效率,还因其对分段进行并发上传的机制能加快上传速度,帮助用户快速完成上传业务;且其对用户透明,用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发上传的实现等内部细节。
用模式使用。 可以将文字内容或另一张图片设置为原图的水印。 添加水印中的文字内容和字体或图片水印路径均需使用用于URL传输的Base64编码。标准的Base64编码并不适合直接放在URL里传输。用于URL传输的Base64编码的编码方式基本过程是:先用标准Base64编码将内容编
上传段接口为特定的任务上传段,从客户端上传新数据,了解完整的分段上传流程请参见分段上传。同一个对象的同一个多段上传任务在上传段时,上传的顺序对后续的合并操作没有影响,也即支持多个段并发上传。 段大小范围是[100KB,5GB],但在进行合并段操作时,最后一个段的大小范围为[0,5
同时指定本次重命名后的对象名称。参数说明如表1所示。 表1 请求消息参数 参数名称 描述 是否必选 name 重命名后的对象名称,请使用绝对路径。 类型:String 是 rename 表明这是重命名操作。 类型:String 是 请求消息头 该请求使用公共的请求消息头,具体如表3所示。
B,则说明对象内容发生了变化。ETag只反映变化的内容,而不是其元数据。上传的对象或复制操作创建的对象,都有唯一的ETag。 约束限制: 当对象是服务端加密的对象时,ETag值不是对象的MD5值。 取值范围: 长度为32的字符串。 默认取值: 无 NextAppendPosition
参数解释: 待上传对象的自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制: 所有自定义元数据大小的总和不超过8K。单个
功能介绍 用户执行获取对象ACL的操作,返回信息包含指定对象的权限控制列表信息。用户必须拥有对指定对象读ACP(access control policy)的权限,才能执行获取对象ACL的操作。 多版本 默认情况下,获取最新版本的对象ACL。如果最新版本的对象是删除标记,则返回404