检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云MRS对接OBS。 Cloudera CDH CDH是Cloudera基于Apache Hadoop生态系统构建的大数据分析管理平台发行版。 Cloudera CDH与OBS对接的具体操作,请参见Cloudera CDH对接OBS。 Hortonworks HDP HDP是Hortonworks基于Apache
x版本:Python 3.6、3.7、3.8、3.9、3.10、3.11版本。 不推荐使用python3.5及以下版本,如要使用需要运行命令pip install secrets,安装安全随机数模块,python2.7版本可用python2-secrets代替。 从PyCharm官网下载并安装最新社区版本。
清单文件的文件夹。 6 执行错误 执行ls查询桶列表,因为网络超时而失败。 7 操作不支持 执行chattri修改对象属性,但桶不是3.0版本的桶。 8 批量任务执行不完全成功 执行cp批量下载对象,部分对象下载失败。 9 中断错误 执行命令过程中用户手动Ctrl+C中断任务执行。
t值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 encoding-type 附加参数,可选 对象名有特殊字符时,取值为url。 说明: Util 5.5.12版本及以上支持该参数。 fr 附加参数,恢复单个cold存储对象时可选 恢
OBS、EVS和SFS有什么区别? 对象存储服务OBS、云硬盘EVS与弹性文件服务SFS之间的对比如表1所示。 表1 OBS、EVS、SFS服务对比 对比维度 对象存储服务 云硬盘 弹性文件服务 概念 提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。
自行编译flink-obs-fs-hadoop时,推荐编译依赖的hadoop.huaweicloud版本(hadoop.huaweicloud.version)不低于53.8版本。 在/opt/flink-1.12.1/plugins目录下创建obs-fs-hadoop目录,并将上述jar放入此目录。 配置flink。
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 limit 附加参数,可选 查询桶的最大个数,小于0表示列举所有结果,不设置时的默认值为1000。 format 附加参数,可选
适用的操作系统 obsfs适用于Linux操作系统,具体说明和操作指导如表1所示。 表1 获取obsfs的方式 方式 说明 适用的Linux发行版 操作指导 直接下载 直接下载官方提供的软件包,在Linux配置运行环境后即可使用obsfs。 Ubuntu 16、CentOS 7 下载并安装obsfs
结构体说明 表1 EventDef结构体参数说明 名称 是否必选 参数类型 描述 payload_filter_request 否 String 参数解释: 事件的参数过滤路径。 约束限制: 必须是合法的JSONPath格式 默认取值: $ payload_filter_response
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 ps 附加参数,可选 每个分段移动任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。
级WORM保护策略时可以指定版本号来为特定版本的对象配置,如果您不指定版本号,则改动只会对同名对象的最新版本生效。WORM功能不会对带唯一版本号的删除标记生效。 多段操作 多段上传的对象在合并前不会自动应用桶级默认WORM策略,也无法通过在上传或合并时指定头域来配置对象级WORM
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 limit 附加参数,可选 查询桶的最大个数,小于0表示列举所有结果,不设置时的默认值为1000。 format 附加参数,可选
obs.buffer.dir</name> <value>xxx</value> </property> 对接步骤 以flume 1.9版本为例。 下载apache-flume-1.9.0-bin.tar.gz。 安装flume。 解压apache-flume-1.9.0-bin
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 limit 附加参数,可选 列举结果的最大个数,小于等于0表示列举所有结果,不设置时的默认值为1000。 说明: 如果
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 ps 附加参数,可选 每个分段复制任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。
vault能帮助用户从OBS快速、轻松地恢复数据,从而为SAP HANA提供企业级数据保护。 在本场景下推荐使用Commvault V11版本。 逻辑架构 此处以使用Commvault备份本地单节点部署的SAP HANA为例,其逻辑架构如图1所示。 图1 逻辑架构 逻辑架构中各组件说明如表1所示:
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 ps 附加参数,可选 每个分段复制任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。
使用DIS发送OBS事件通知 本节介绍如何在OBS控制台配置DIS通知。 您可以新建DIS通知规则,也可以从同区域的其他桶复制已有DIS通知规则。 背景知识 OBS提供的DIS通知功能,主要面向大数据场景,要求OBS与数据接入服务(DIS)及其他大数据相关服务结合使用。 仅支持华
源划分成多个集群。一个region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 企业项目 企业项目是项目的升级版,针对企业不同项目间资源的分组和管理,是逻辑隔离。企业项目中可以包含多个区域的资源,且项目中的资源可以迁入迁出。关于企业项目ID的获取及企业
该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 cpd 附加参数,可选 生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。