检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用备份软件实现本地数据备份至OBS 使用场景 传统的备份与恢复方案需要将备份数据写入磁带等存储设备，然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素，比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护，都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。
如何实现下载对象时限速(Java SDK) 此示例用于下载对象时设置单链接实现限速，通过自定义头域，SDK透传x-obs-traffic-limit，服务端校验完成限速。 import com.obs.services.ObsClient; import com.obs.services
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
表响应消息头的名称，第二个String代表响应消息头的值。 默认取值： 无 queryParams Map<String, Object> 可选 参数解释： 请求中携带的查询参数。Map中类型为String的key代表request中的查询参数，类型为Obeject的value是查询参数取得的值。
之间进行大规模数据复制的工具，它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 配置指南 参考Hadoop对接OBS中hadoop-huaweicloud的安装和配置方法，完成OBS相关配置。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
参数解释： 说明访问者希望采用的语言或语言组合，以根据自己偏好的语言来定制。详情请参见HTTP协议中关于ContentLanguage的定义。 默认取值： 无 expires String 可选 参数解释： 响应中的Expires头。指定对象被下载时的网页的缓存过期时间。 默认取值：
件时不会产生一致性问题，但是OBS实现的HDFS协议不支持租约Lease机制（并发写同一个文件时将产生不可确定的状态），所以在flume场景下可以通过文件命名规则进行解决。 如sink文件的命名规则：hostname-sinkname作为文件的前缀，如果一个主机上部署了多个flume
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
具备访问OBS权限的sk。 bucket OBS的桶名称。 size_file 指定文件滚动大小（字节）。当文件大小达到设定的值时，会生成一个新的文件。 time_file 设置文件滚动周期（分钟）。当数据写入达到设定周期时，会生成一个新的文件。 prefix 指定文件存储的目录，例如“
解释： node.environment：环境名字，Presto集群中的节点的环境名字都必须是一样的。 node.id：唯一标识，每个节点的标识都必须是唯一的。就算重启或升级Presto都必须还保持原来的标识。 node.data-dir：数据目录，Presto用它来保存log和其他数据
次进入时读取上一次上传的进度，具体设置方法请参考对应语言的SDK文档。 Java上传 Java下载 Python上传 Python下载 C上传 C下载 Go上传 GO下载 BrowserJS上传 .NET上传 .NET下载 Android上传 Android下载 iOS上传 iOS下载
软件：Ambari：2.7.1.0，HDP：3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具：下载地址。 下载OBSA-HDFS工具的jar包（如hadoop-huaweicloud-3.1.1-hw-53.8.jar）到/mnt/obsjar目录。
8是OBSA的版本号。 如hadoop版本为3.1.x，则选择hadoop-huaweicloud-3.1.1-hw-53.8.jar。 增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令，命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
移动应用客户端可以使用指定了权限策略的临时安全凭证来访问OBS，实现数据直传，整个过程不会暴露用户的永久AK/SK，降低了账号泄露带来的安全风险。 图1 使用临时安全凭证直传OBS流程 角色分析如下： 应用客户端：即最终用户手机上的APP，负责向应用服务器发出申请临时安全凭证的请求，以及访问OBS完成数据上传或下载。
如何上传超过5GB的大对象？ 背景信息 通过OBS管理控制台上传的文件有大小和数量限制，每次最多支持100个文件同时上传，总大小不超过5GB。如果只上传1个文件，则这个文件最大为5GB。 上传超过5GB的大对象 5GB < 上传对象 <= 48.8TB 如果需要上传超过5GB的大对象，可以使用OBS
Destination 清单的目标配置。 类型：Container 父节点：InventoryConfiguration 是 Format 生成的清单文件的格式，现只支持CSV格式。 类型：String 父节点：Destination 有效值：CSV 是 Bucket 存放清单文件的目标桶的桶名。 类型：String
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
