检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外
托管模式，就可以实现在OBS上托管静态网站了。 静态网站通常仅包含静态网页，以及可能包含部分可在客户端运行的脚本，如JavaScript、Flash等。相比之下，动态网站则依赖于服务器端处理脚本，包括PHP、JSP或ASP.Net等。OBS当前尚不支持服务器端运行脚本。 图1 静态网站示意图
使用obsutil实现客户端跨区域复制 obsutil支持使用客户端跨区域复制模式进行复制，即通过数据流的方式从源桶直接复制数据到目标桶，且两个桶可以是任意两个OBS服务的桶；借助客户端跨区域复制模式即可实现相同账户下不同区域桶或不同账户间桶内对象的复制；跨账号复制对象具体步骤如下：
平滑地迁移至OBS。 大数据场景下使用OBS实现存算分离 本最佳实践主要提供华为云大数据存算分离方案中不同大数据平台和大数据组件与对象存储服务OBS的对接指导，以及HDFS数据迁移至对象存储服务OBS的方案。 数据备份 使用备份软件实现本地数据备份至OBS Commvault、爱数云备份服务（AnyBackup
DataX对接OBS 概述 DataX是一个数据同步框架，实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDF
移动应用直传方案概述 在互联网中，使用OBS作为存储在移动APP（手机Android、iOS应用）中获得了越来越广泛的应用。Android和iOS应用使用OBS服务时，不能直接存储访问密钥（AK/SK），这样可能会导致访问密钥（AK/SK）被黑客软件破解获取，进而可能导致存放在云存储中的文件数据被窃取，甚至被篡改。
利用obsutil上传软链接 obsutil支持上传文件/文件夹时上传软链接指向的真实路径。您可通过在运行上传/增量同步上传时指定命令级参数：link，来实现上传软链接的功能。 obsutil支持识别文件夹软链接，如果软链接指向的真实路径是一个文件夹则会递归扫描该文件夹中的内容。
据具体的场景设置开启分段任务的阈值以实现上传/下载/复制任务失败或中断后的续传。您可通过两种方式指定开启分段任务的阈值： 方法一 指定配置文件中的配置参数：defaultBigfileThreshold，详情请参见配置参数说明。 方法二 在运行上传、下载、复制、增量同步上传、增量
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
t02" objectKey:@"imageWithFile" uploadFilePath:filePath]; // 开启后台上传，当应用退出到后台后，上传任务仍然会进行 request.background = YES; // 上传进度 request.uploadProgressBlock
使用备份软件实现本地数据备份至OBS 使用场景 传统的备份与恢复方案需要将备份数据写入磁带等存储设备，然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素，比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护，都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。
临时授权方式实现图片处理(Java SDK) 功能说明 OBS为用户提供了稳定、安全、高效、易用、低成本的图片处理服务。您可以通过临时授权方式传入图片处理参数，对图片文件进行图片剪切、图片缩放、图片水印、格式转换等处理。 开发过程中，您有任何问题可以在github上提交issue
prefix 指定文件存储的目录，例如“logstash/”，此时文件会写入到桶的logstash/目录下（注意路径不要以/开头）。 执行以下命令，运行logstash。 bin/logstash -f ../conf/file2obs.conf 父主题： 对接大数据组件
支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
配置双端固定实现VPC粒度的访问控制 操作场景 使用“双端固定”特性，即同时设置VPC终端节点策略与桶策略，可以对OBS的资源提供VPC粒度的权限控制。 一方面，设置VPC终端节点策略可以限制VPC中的服务器（ECS/CCE/BMS）访问OBS中的特定资源；另一方面，设置桶策略可
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
SDK功能矩阵 Java、Python、C、.NET、Node.js、Android SDK对OBS各接口的支持情况请参见表1。 iOS、PHP、Go、BrowserJS、Harmony SDK对OBS各接口的支持情况请参见表2。 表1 OBS SDK功能矩阵1 接口类型 接口名
Distcp（Distributed copy）主要是用于Hadoop文件系统内部或之间进行大规模数据复制的工具，它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 配置指南 参考H
注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的：HDFS租约机制可以保证并发写同一个文件时不会产生一致性问题，但是OBS实现的HDFS协议不支持租约Lease机制（并发写同一个文件时将产生不可确定的状态），所以在flume场景下可以通过文件命名规则进行解决。 如
max-memory-per-node=1GB query.max-total-memory-per-node=2GB 解释： coordinator：是否运行该实例为coordinator（接受client的查询和管理查询执行）。 node-scheduler.include-coordinat
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
