检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS数据安全 OBS安全配置建议 减少因误操作导致的数据丢失风险
获取桶元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient->getBucketMetadata接口获取桶元数据。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。
获取桶元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.getBucketMetadata接口获取桶元数据。
父主题: 对接大数据组件
图2 部门公共数据权限管理流程 详细配置步骤 创建管理员用户 使用企业账号登录华为云控制台首页。 在控制台首页选择“服务列表 > 管理与监管 > 统一身份认证服务(IAM)”,进入IAM控制台。 在IAM控制台,单击左侧导航栏中的“用户”。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。
同时,OBS桶为逻辑隔离,桶中数据量大小不会影响桶性能。 父主题: 产品咨询
此文件数据是由shell解析,所以选项中包含空格或特殊字符会被忽略。
父主题: 对接大数据平台
详细配置步骤 创建桶 使用部门A的管理员用户登录华为云控制台首页。 在控制台首页选择“所有服务 > 存储 > 对象存储服务 OBS”,进入OBS控制台。 在OBS控制台,单击页面右上角的“创建桶”按钮。
父主题: 对接大数据平台
OBS通过存储介质的慢盘/坏道检测、AZ内设备和数据冗余、AZ之间数据容灾、跨区域复制等技术方案,提供针对介质、服务器、机柜、数据中心和区域的多级可靠性保障。其数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。
私有桶的镜像回源当前仅支持部分云厂商。 不支持源站使用Transfer-Encoding: chunked方式传输数据,即从源站下载对象的响应中必须包含Content-Length头域来指明源对象大小。
设置对象元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。
前期安装难、设备成本高、初始投资大、自建周期长、后期运维成本高,无法匹配快速变更的企业业务,安全保障的费用还需额外考虑。 OBS的优势 数据稳定,业务可靠:OBS支撑手机云相册,数亿用户访问,稳定可靠。
数据冗余存储策略为“单AZ”的桶,在AZ内的节点间使用EC算法做数据冗余;“多AZ”的桶在AZ内节点间EC冗余的基础上,会同时在多个AZ间再做数据冗余。 父主题: 数据安全、迁移和备份
(可选)OBS除了可以与主流大数据平台对接外,还可以直接与开源的大数据组件对接。当您使用开源的大数据组件时,可参考支持的大数据组件简介完成与OBS对接。 (可选)如果您的数据仍存储在本地HDFS,需要先将数据迁移到华为云OBS中。详情请参见迁移HDFS数据至OBS。
OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。