正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中,具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash,例如≥7.10.2的版本,避免使用较老版本的logstash。 对接步骤 以logstash-7
使用备份软件实现本地数据备份至OBS 使用场景 传统的备份与恢复方案需要将备份数据写入磁带等存储设备,然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素,比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护,都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。
支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
配置双端固定实现VPC粒度的访问控制 操作场景 使用“双端固定”特性,即同时设置VPC终端节点策略与桶策略,可以对OBS的资源提供VPC粒度的权限控制。 一方面,设置VPC终端节点策略可以限制VPC中的服务器(ECS/CCE/BMS)访问OBS中的特定资源;另一方面,设置桶策略可
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
通过CDN服务为OBS桶绑定的自定义域名加速。 CDN(Content Delivery Network,内容分发网络) 自定义域名绑定 通过CDN加速访问OBS 通过DNS服务为托管在OBS上的静态网站和OBS桶绑定的自定义域名做域名解析。 云解析服务(Domain Name Service,DNS)
交工单。 您还可以使用CDN,通过CDN管理控制台进行HTTPS证书管理,即可使用HTTPS访问。CDN管理控制台HTTPS证书管理方式,详情请参见HTTPS配置。 使用CDN加速功能提高访问速度 如果您希望提高访问静态资源文件的速度和稳定性,可以使用CDN加速。如果您已为桶配置
如何获取OBS的终端节点? OBS可以通过域名进行访问,在使用API、第三方工具等方式使用OBS时,可通过域名方便定位OBS中的资源。 在使用OBS之前,请确保客户端环境已经正确配置DNS服务器地址,用于OBS域名解析。 不同的数据中心分配对应的域名,域名详情请参见地区和终端节点。
Distcp(Distributed copy)主要是用于Hadoop文件系统内部或之间进行大规模数据复制的工具,它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。 配置指南 参考H
临时授权方式实现图片处理(Java SDK) 功能说明 OBS为用户提供了稳定、安全、高效、易用、低成本的图片处理服务。您可以通过临时授权方式传入图片处理参数,对图片文件进行图片剪切、图片缩放、图片水印、格式转换等处理。 开发过程中,您有任何问题可以在github上提交issue
生命周期管理 支持设置桶的生命周期管理策略,实现自动删除超期的对象。 挂载外部桶 方便用户管理其他OBS用户共享的数据。 CDN下载 可以为本桶绑定的自定义域名配置启用CDN下载,以实现在OBS Browser上下载对象时,从CDN加速节点获取,提高下载速度。 任务管理 方便用
准备自定义域名涉及域名注册费用,由域名注册商收取,具体费用以实际为准。 CDN 可选。可以为OBS桶绑定的自定义域名开启CDN加速,以实现更快的资源访问速度。 使用CDN加速会产生相应的流量费用,具体请参见CDN加速OBS计费规则。 实际产生的费用与用户访问所产生的流量大小有关,请根据自己的业务进行预估。
准备自定义域名涉及域名注册费用,由域名注册商收取,具体费用以实际为准。 CDN 可选。可以为OBS桶绑定的自定义域名开启CDN加速,以实现更快的资源访问速度。 使用CDN加速会产生相应的流量费用,具体请参见CDN加速OBS计费规则。 实际产生的费用与用户访问所产生的流量大小有关,请根据自己的业务进行预估。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
时可以使用自定义域名绑定功能。 发布区域:全部 如何绑定自定义域名? OBS 3.0支持 CDN加速 您使用CDN加速域名后,可配置网站加速、文件下载加速和点播加速。 CDN加速功能将存储在OBS中的数据缓存到终端用户附近的CDN节点上,让身处各地的终端用户都可以快速访问存储在O
注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的:HDFS租约机制可以保证并发写同一个文件时不会产生一致性问题,但是OBS实现的HDFS协议不支持租约Lease机制(并发写同一个文件时将产生不可确定的状态),所以在flume场景下可以通过文件命名规则进行解决。 如
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
如何访问指定桶或指定目录 在实际使用Browser+的过程中,在某些业务场景下,用户登录的AK,SK仅有访问某个桶或者某个桶内指定路径的权限,在这种情况如果直接使用AK、SK登录由于缺乏获取桶列表等操作的权限,因此登录会提示权限不足失败;考虑到这种场景,Browser+工具支持用
型计算存储费用。 通过CDN加速访问OBS 通过华为云CDN加速访问在OBS中的数据,费用将由OBS和CDN共同产生和收取。 整个过程产生的费用示意图如图2所示。 图2 通过CDN加速访问OBS费用示意 各计费项的的详细说明,如表6所示。 表6 通过CDN加速访问OBS计费项说明
如何调用API 构造请求 认证鉴权 返回结果