正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
Q:选择多AZ存储后,数据是以副本的形式分别存放在多个AZ中吗?如果某个AZ出现故障,其他AZ中的数据是否完整? A:多AZ采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。选择多AZ存储的桶,数据将存储在同一区域的多个不同AZ。当某个AZ不可用时,仍
配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。 父主题: 对接大数据平台
nt、impl等。 core-site.xml配置完成后“重启”Hive集群,再重启Hive集群的“部署客户端配置”。 父主题: 对接大数据平台
参数解释: 元数据操作指示符。 约束限制: 无 取值范围: REPLACE_NEW:表示对于已经存在值的元数据进行替换,不存在值的元数据进行赋值,未指定的元数据保持不变(自定义头域作替换处理)。 REPLACE:表示使用当前请求中携带的头域完整替换,未指定的元数据(本表中除x-o
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外,还
a/sample CDM方式迁移 云数据迁移(Cloud Data Migration,CDM)提供同构/异构数据源之间批量数据迁移服务,帮助您实现数据自由流动。支持关系数据库,数据仓库,NoSQL,大数据云服务等数据源。 详细内容请参见云数据迁移。 OMS方式迁移 对象存储迁移服务(Object
设置桶的多版本状态 功能介绍 多版本功能可在用户意外覆盖或删除对象的情况下提供一种恢复手段。用户可以使用多版本功能来保存、检索和还原对象的各个版本,这样用户能够从意外操作或应用程序故障中轻松恢复数据。多版本功能还可用于数据保留和存档。 默认情况下,桶没有设置多版本功能。 当开启W
多版本控制简介 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS支持保存一个对象的多个版本,使您更方便地检索和还原各个版本,在意外操作或应用程序故障时快速恢复数据。 更多关于多版本控制的内容请参见多版本控制。
中“对象存储服务”的内容。 假设某用户于2023年7月1日对15TB数据做图片处理。由于数据处理费用无适用的资源包,则按照按需计费方式分析如下。 0~10TB范围内的数据免费,因此该用户的数据处理费用为: 数据处理费用= (15TB - 10TB) * 1024 * 0.025元/GB
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
表1 传统企业在大数据场景面临的关键问题 序号 关键问题 详细描述 1 多集群数据共享难 企业数据往往分别存储在IDC多个集群,存在如下问题: 无全局视图,数据只能在集群内部使用。 拷贝是跨集群数据共享的唯一途径,数据拷贝耗时长。 公共数据集多份存储,数据冗余。 2 计算存储资源绑定,导致资源浪费
数据恢复费用 访问低频访问存储类别、归档存储类别和深度归档存储类别的对象时,会根据对象大小等产生额外的数据恢复费用。此项费用不管通过内、外网访问均会产生;如果使用外网访问,则会同时计入到公网流出流量费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据恢复费用 数据读取流量
获取桶元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.GetBucketMetadata接口获取桶元数据。以下代码展示如何获取桶元数据: //
从其他AZ正常访问数据,适用于对可靠性要求较高的数据存储场景。 创建多AZ桶 数据完整性校验(MD5) 对象数据在上传下载过程中,有可能会因为网络劫持、数据缓存等原因,存在数据不一致的问题。OBS提供通过计算MD5值的方式对上传下载的数据进行一致性校验。 数据一致性校验 服务端加密
获取自定义元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。以下代码展示了如何获取自定义元数据: // 引入依赖库 require 'vendor/autoload
数据管理 生命周期 桶清单 事件通知 使用数据回源获取源站数据 静态网站托管 重定向请求