检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（M
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
数据管理 生命周期 桶清单 事件通知 使用镜像回源获取源站数据 静态网站托管 重定向请求 跨区域复制
fs.obs.OBSFileSystem。 重启HDFS集群。 在MapReduce2集群中增加配置项 在MapReduce2集群CONFIGS的ADVANCED配置项中修改mapred-site.xml文件中的mapreduce.application.classpath配置项，添加路径为/usr/hdp/3
多个集群，且一台服务器同时提供计算和存储能力，这种方式导致的如表1所示的几个关键问题，已成为企业数字化转型的阻碍。 表1 传统企业在大数据场景面临的关键问题 序号 关键问题 详细描述 1 多集群数据共享难 企业数据往往分别存储在IDC多个集群，存在如下问题： 无全局视图，数据只能在集群内部使用。
Q：选择多AZ存储后，数据是以副本的形式分别存放在多个AZ中吗？如果某个AZ出现故障，其他AZ中的数据是否完整？ A：多AZ采用Erasure Code（EC，纠删码）算法做数据冗余，不是以副本的形式存储。选择多AZ存储的桶，数据将存储在同一区域的多个不同AZ。当某个AZ不可用时，仍
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
中“对象存储服务”的内容。 假设某用户于2023年7月1日对15TB数据做图片处理。由于数据处理费用无适用的资源包，则按照按需计费方式分析如下。 0~10TB范围内的数据免费，因此该用户的数据处理费用为： 数据处理费用= (15TB - 10TB) * 1024 * 0.025元/GB
多版本功能可以方便地检索和还原各个版本，在意外操作或应用程序故障时快速恢复数据。 在默认情况下，OBS中新创建的桶不会开启多版本功能，向同一个桶上传同名的对象时，新上传的对象将覆盖原有的对象。 更多关于多版本控制的内容请参见多版本控制。 父主题： 多版本控制
设置桶的多版本状态 功能介绍 多版本功能可在用户意外覆盖或删除对象的情况下提供一种恢复手段。用户可以使用多版本功能来保存、检索和还原对象的各个版本，这样用户能够从意外操作或应用程序故障中轻松恢复数据。多版本功能还可用于数据保留和存档。 默认情况下，桶没有设置多版本功能。 当开启W
在左侧导航栏，单击“概览”，进入“概览”页面。 在“基础配置”区域下，单击“多版本控制”卡片，系统弹出多版本控制对话框。 图6 配置多版本控制入口 选择“启用”。 图7 多版本控制 单击“确定”，启用目标桶中对象的多版本控制。 单击左侧列表中的“对象”，进入对象列表页。 在搜索框上方，
a/sample CDM方式迁移 云数据迁移（Cloud Data Migration，CDM）提供同构/异构数据源之间批量数据迁移服务，帮助您实现数据自由流动。支持关系数据库，数据仓库，NoSQL，大数据云服务等数据源。 详细内容请参见云数据迁移。 OMS方式迁移 对象存储迁移服务（Object
从其他AZ正常访问数据，适用于对可靠性要求较高的数据存储场景。 创建多AZ桶 数据完整性校验（MD5） 对象数据在上传下载过程中，有可能会因为网络劫持、数据缓存等原因，存在数据不一致的问题。OBS提供通过计算MD5值的方式对上传下载的数据进行一致性校验。 数据一致性校验 服务端加密
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外，
Spark集群对接OBS配置项 Spark应用对接OBS，需要在YARN集群中进行core-site.xml配置，包括：ak、sk、endpoint、impl等。 core-site.xml配置完成后“重启”YARN集群，再重启Spark集群的“部署客户端配置”。 Hive集群对接OBS配置项
数据恢复费用 访问低频访问存储类别、归档存储类别和深度归档存储类别的对象时，会根据对象大小等产生额外的数据恢复费用。此项费用不管通过内、外网访问均会产生；如果使用外网访问，则会同时计入到公网流出流量费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据恢复费用 数据读取流量
参数解释： 元数据操作指示符。 约束限制： 无 取值范围： REPLACE_NEW：表示对于已经存在值的元数据进行替换，不存在值的元数据进行赋值，未指定的元数据保持不变（自定义头域作替换处理）。 REPLACE：表示使用当前请求中携带的头域完整替换，未指定的元数据（本表中除x-o
获取桶元数据 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.GetBucketMetadata接口获取桶元数据。 本示例用于获取桶名为“bucketname”的元数据信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
