检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以通过OBS管理控制台、API、SDK、OBS Browser+、obsutil方式创建桶。桶是OBS中存储对象的容器。您需要先创建一个桶,然后才能在OBS中存储数据。 华为云OBS控制台支持在创建桶时选择源桶,同步桶配置。选择后可复制源桶的以下配置信息:区域 / 数据冗余策略 / 存储类别 / 桶策略 / 服务端加密
自行编译flink-obs-fs-hadoop时,推荐编译依赖的hadoop.huaweicloud版本(hadoop.huaweicloud.version)不低于53.8版本。 在/opt/flink-1.12.1/plugins目录下创建obs-fs-hadoop目录,并将上述jar放入此目录。 配置flink。
适用的操作系统 obsfs适用于Linux操作系统,具体说明和操作指导如表1所示。 表1 获取obsfs的方式 方式 说明 适用的Linux发行版 操作指导 直接下载 直接下载官方提供的软件包,在Linux配置运行环境后即可使用obsfs。 Ubuntu 16、CentOS 7 下载并安装obsfs
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 limit 附加参数,可选 查询桶的最大个数,小于0表示列举所有结果,不设置时的默认值为1000。 format 附加参数,可选
段上传任务超过1000个,您需要发送其他请求以检索剩余的多段上传任务。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是桶拥有者或拥有列举分段上传任务的权限,才能列举分段上传任务。建议使用IAM或桶策略进行授
级WORM保护策略时可以指定版本号来为特定版本的对象配置,如果您不指定版本号,则改动只会对同名对象的最新版本生效。WORM功能不会对带唯一版本号的删除标记生效。 多段操作 多段上传的对象在合并前不会自动应用桶级默认WORM策略,也无法通过在上传或合并时指定头域来配置对象级WORM
[-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 命令中的“/prefix”即为上传文件夹时的对象名前缀。 Linux/Mac操作系统 上传文件 ./obsutil cp file_url obs://bucket[/key] [-arcDir=xxx] [-dryRun]
口进行修改。 对指定桶中的对象发送HEAD请求,设置对象的元数据信息。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是桶拥有者或拥有设置对象元数据的权限,才能设置对象元数据。建议使用IAM或桶策略进行授权,
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 cpd 附加参数,可选 生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。
您可以通过ObsClient.createBucket创建并行文件系统。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须拥有obs:bucket:CreateBucket权限,才能创建并行文件系统。建议使用IA
仅支持对象上的GET和HEAD请求 对桶根级的GET和HEAD请求的响应 返回桶中对象key的列表 返回配置中指定的索引文档 注意事项 基于安全合规要求,华为云对象存储服务OBS禁止通过OBS的默认域名(桶访问域名或静态网站访问域名)使用静态网站托管功能,即使用上述域名从浏览器访问网页类型文件时
obs.buffer.dir</name> <value>xxx</value> </property> 对接步骤 以flume 1.9版本为例。 下载apache-flume-1.9.0-bin.tar.gz。 安装flume。 解压apache-flume-1.9.0-bin
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 limit 附加参数,可选 查询桶的最大个数,小于0表示列举所有结果,不设置时的默认值为1000。 format 附加参数,可选
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 limit 附加参数,可选 列举结果的最大个数,小于等于0表示列举所有结果,不设置时的默认值为1000。 说明: 如果
象经过转换,归档存储时间少于最低存储时间,需要补足剩余天数的存储费用。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 单个桶的生命周期规则条数没有限制,但一个桶中所有生命周期规则的XML描述总大小不能超过20KB。
ent.getObjectMetadata接口获取下次追加上传的位置。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是桶拥有者或拥有上传对象的权限,才能上传对象。建议使用IAM或桶策略进行授权,如果使用IA
可以通过ObsClient.putObject上传您的数据流到OBS。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是桶拥有者或拥有上传对象的权限,才能上传对象。建议使用IAM或桶策略进行授权,如果使用IA
兼容目录,s3fs尽可能支持目录类型的对象,并将其识别为目录。 可以识别为目录对象的对象有“dir/”、“dir_$folder$”。 注意: 1.92版本必须添加此挂载参数,否则无法显示桶内的多级目录对象。 例:使用sdk创建对象:a/b/c或a/b/c/,若不添加此参数将无法显示目录a。
个或多个版本。 表5 删除开启多版本桶的桶内文件 操作类别 操作效果 删除对象的当前版本 如果当前版本不是删除标记,则生命周期创建具有唯一版本ID的删除标记,当前版本会成为历史版本,删除标记成为当前版本。 如果当前版本是删除标记,则不执行任何操作。 删除对象的历史版本 删除对象的历史版本,删除的历史版本无法恢复。
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 limit 附加参数,可选 查询桶的最大个数,小于0表示列举所有结果,不设置时的默认值为1000。 format 附加参数,可选