检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云MapReduce服务（MRS）是华为云提供的大数据服务，可以在华为云上部署和管理Hadoop系统，一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合华为云计算、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行
移动应用直传 移动应用直传方案概述 使用临时安全凭证直传OBS 使用预签名URL直传OBS 父主题： 数据直传OBS
REPLACE_NEW：表示对于已经存在值的元数据进行替换，不存在值的元数据进行赋值，未指定的元数据保持不变（自定义头域作替换处理）。 REPLACE：表示使用当前请求中携带的头域完整替换，未指定的元数据（本表中除x-obs-storage-class的其它元数据）会被删除。 默认取值： 无 Cache-Control
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中，对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中，则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移，包括：Distcp方式迁移、CDM方式迁移和OMS方式迁移。
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
大数据场景下使用OBS实现存算分离方案概述 应用场景 随着大数据技术的飞速发展，对数据价值的认识逐渐加深，大数据已经融入到了各行各业。根据相关调查报告数据显示，超过39.6%的企业正在应用大数据并从中获益；超过89.6%的企业已经成立或计划成立相关的大数据分析部门；超过六成的企业
储中的文件数据被窃取，甚至被篡改。 为了更好地保护应用数据，避免被攻击后数据泄露以及越权访问的风险，为您推荐以下两种方法。 方法一：使用临时安全凭证直传OBS 方法二：使用预签名URL访问OBS 方法一使用临时的AK/SK，可以避免AK/SK泄露的风险。推荐您优先使用临时安全凭证直传OBS。
OBS客户端通用示例 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 调用ObsClient的相关接口均需要传入请求数组（associative array类型）作为输入。对于桶操作
签名计算工具 OBS提供可视化签名计算工具，帮助您轻松完成签名计算。 表1 签名计算工具 签名计算方式 签名计算工具获取地址 Header中携带签名 可视化签名计算工具 URL中携带签名 可视化签名计算工具 工具使用步骤 本节介绍如何使用工具计算签名 使用工具计算Header中携带的签名
OBS提供高并发、高可靠、低时延、低成本的海量存储系统，结合计算服务可快速搭建高扩展性、低成本、高可用的基因测序平台。 客户数据中心测序仪上的数据通过云专线自动快速上传到华为云，通过由ECS、CCE、MRS等服务搭建的计算集群进行分析计算，分析计算产生的数据和计算结果存储到OBS中，其中上传到华为云的基因数据自
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
DataX对接OBS 概述 DataX是一个数据同步框架，实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务，本文介绍DataX如何对接OBS。
获取自定义元数据 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。以下代码展示了如何获取自定义元数据： // 引入依赖库 require 'vendor/autoload
从其他AZ正常访问数据，适用于对可靠性要求较高的数据存储场景。 创建多AZ桶 数据完整性校验（MD5） 对象数据在上传下载过程中，有可能会因为网络劫持、数据缓存等原因，存在数据不一致的问题。OBS提供通过计算MD5值的方式对上传下载的数据进行一致性校验。 数据一致性校验 服务端加密
应用服务器：即提供该Android/iOS应用的开发者开发的APP后台服务，用于管理凭证信息以及发放预签名URL。 OBS：即华为云对象存储，负责处理移动应用的数据请求。 实现流程如下： 移动应用客户端向应用服务器申请一个预签名的URL。 Android和iOS应用使用OBS服
包，赠送的请求次数也会叠加。如果您的包月资源包进行了升配，赠送的请求次数也会进行升级，剩余请求次数＝升配后的请求次数-原来已使用的请求次数。 除了服务端返回的状态码为5XX或403错误的请求外，其余的请求均会计入请求次数。 举例 示例一 以上传对象为例，对一个对象或者段的每一次操
对所有账号授予指定对象的读权限 场景介绍 某公司A使用OBS存储了大量全球各地的地图数据，这些数据需要对外开放供所有人查阅。在这种情况下，该公司便可以为这部分数据设置所有账号的读取权限，然后将这些数据对应的URL公开在互联网上，所有人就可以使用这个URL访问或下载这些公开数据了。 配置须知
访问低频访问存储类别的对象时，会根据对象大小产生额外的数据恢复费用。 访问归档存储类别的对象时，会根据对象大小和设置的恢复速度级别产生额外的数据恢复费用。 访问深度归档存储类别的对象时，会根据对象大小和设置的恢复速度级别产生额外的数据恢复费用。 此项费用不管通过内、外网访问均会产生；
务”的内容。 计费示例 以下示例中出现的费用价格仅供参考，实际价格请参见产品价格详情中“对象存储服务”的内容。 假设某用户于2023年7月1日对15TB数据做图片处理。由于数据处理费用无适用的资源包，则按照按需计费方式分析如下。 0~10TB范围内的数据免费，因此该用户的数据处理费用为：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
