检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
插件后,无法利用本地数据做恢复和替换。 单击“保存配置”,完成配置。 测试配置是否成功。 新建文章进行测试,在文章中插入图片,插入成功后发布文章。 在图片右键复制图片地址,可以查看当前图片URL域名部分对应2中配置的桶访问域名,说明配置成功。 父主题: 数据直传OBS
钥(AK/SK),这样可能会导致访问密钥(AK/SK)被黑客软件破解获取,进而可能导致存放在云存储中的文件数据被窃取,甚至被篡改。 为了更好地保护应用数据,避免被攻击后数据泄露以及越权访问的风险,为您推荐以下两种方法。 方法一:使用临时安全凭证直传OBS 方法二:使用预签名URL访问OBS
Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。 HDFS协议:Hado
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中,具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash,例如≥7.10.2的版本,避免使用较老版本的logstash。
接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过PutObjectRequest.setProgressListener设置数据传输接口来获取上传的进度。示例代码如下: // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
HeadBucket:判断桶是否存在、获取桶元数据 GetBucketLocation:获取桶位置 GetObject:获取对象内容、获取对象元数据 RestoreObject:恢复归档存储对象 GetObjectVersion:获取指定版本对象内容、获取指定版本对象元数据 配置步骤 在OBS管理控制台左侧导航栏选择“桶列表”。
配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
使用OBS Browser+访问OBS 成功登录OBS Browser+后,便可以在Windows ECS上直接通过华为云内网访问OBS,进行基本的数据存取操作以及其他的高级设置操作。 详细使用指南请参见对象存储服务工具指南(OBS Browser+)。 父主题: 在ECS上通过内网访问OBS
我对存储在OBS上的数据加密时,可支持哪些加密技术? 您在将数据上传到OBS中前,可以事先对数据进行加密,以保证传输和保存的安全性。OBS不限定客户端加密的技术。 用户可根据需要对对象进行服务端加密,使对象更安全的存储在OBS中。 需要上传的对象可以通过数据加密服务器提供密钥的方
id:唯一标识,每个节点的标识都必须是唯一的。就算重启或升级Presto都必须还保持原来的标识。 node.data-dir:数据目录,Presto用它来保存log和其他数据 示例: node.environment=presto_cluster node.id=bigdata00 node
由于业务原因,您需要将OBS数据从一个区域的数据中心迁移至另一个区域的数据中心。 数据备份与容灾 出于对数据安全性以及可用性的考虑,您希望对所有写入OBS的数据,都在另一个区域的数据中心显式地创建一个备份,以防止在数据发生不可逆损毁时,有安全、可用的备份数据。 易维护 您在两个不同OBS区域中具
对象 获取对象内容及元数据 获取指定版本对象内容及元数据 获取对象ACL相关信息 获取指定版本对象ACL相关信息 设置对象ACL 设置指定版本对象ACL 不支持 桶ACL 账号 匿名用户 日志投递用户组 允许 桶 判断桶是否存在 列举桶内对象,获取桶元数据 列举桶内多版本对象 列举多段上传任务
设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。 设在对象上,所有人可以获取该对象内容和元数据。 ObsClient.enums.AclPublicRead 公共读写 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、上传对象删除对象、初始化段任务、上传段、合并段、拷贝段、取消多段上传任务。
目录分享 如果您想将一个文件夹分享给其他人,同时希望能够指定有效期,OBS Browser+提供文件夹分享和授权码登录的功能,轻松为你完成数据分享。 首先,您登录OBS Browser+后,选择您要分享的目录右键或者单击操作栏的分享按钮。 然后,选择分享链接的有效期,并输入提取码
3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。 父主题: 对接大数据平台