检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
obsutil支持上传文件/文件夹时上传软链接指向的真实路径。您可通过在运行上传/增量同步上传时指定命令级参数：link，来实现上传软链接的功能。 obsutil支持识别文件夹软链接，如果软链接指向的真实路径是一个文件夹则会递归扫描该文件夹中的内容。 文件夹软链接不能形成环，否则上传会以panic的形式退出；如果不
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
我对存储在OBS上的数据加密时，可支持哪些加密技术？ 您在将数据上传到OBS中前，可以事先对数据进行加密，以保证传输和保存的安全性。OBS不限定客户端加密的技术。 用户可根据需要对对象进行服务端加密，使对象更安全的存储在OBS中。 需要上传的对象可以通过数据加密服务器提供密钥的方式进行服
华为云MapReduce服务（MRS）是华为云提供的大数据服务，可以在华为云上部署和管理Hadoop系统，一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合华为云计算、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运
用服务器管理。具体流程如图1。 图1 移动应用访问OBS数据流程 角色分析如下： 应用客户端：即最终用户手机上的APP，负责向应用服务器申请包含预签名的URL，以及访问OBS完成数据上传或下载。 应用服务器：即提供该Android/iOS应用的开发者开发的APP后台服务，用于管理凭证信息以及发放预签名URL。
READ_ACP 读取ACL配置的权限。 如果有读ACP的权限，则可以获取对应的桶或对象的权限控制列表（ACL）。 桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 PERMISSION_WRITE_ACP WRITE_ACP 修改ACL配置的权限。 如果有写ACP的权限，则可以更新对应桶或对象的权限控制列表（ACL）。
使用备份软件实现本地数据备份至OBS 使用场景 传统的备份与恢复方案需要将备份数据写入磁带等存储设备，然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素，比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护，都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。
例如：如果原图质量为100%，将图片压缩至80%的相对质量，则目标图片的质量为80%。如果原图的质量为80%，将图片压缩至80%的相对质量，则目标图片的质量为64%。 image/resize,w_100,h_100/quality,q_80 Q 图片的绝对质量，即直接将图片压缩为Q
Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。 HDFS协议：Had
定图片处理参数对图片文件进行图片剪切、图片缩放、图片水印、格式转换等处理。 接口约束 您必须是桶拥有者或拥有下载对象的权限，才能下载对象。建议使用IAM或桶策略进行授权，如果使用IAM则需授予obs:object:GetObject权限，如果使用桶策略则需授予GetObject权
fill：指定一个w和h的矩形，将图片进行等比缩放，取在延伸区域的最小图片，并进行居中剪切。即将mfit缩略类型的图片进行居中剪裁。 pad：指定一个w和h的矩形，将图片进行等比缩放，取在矩形内最大的图片，并在矩形空白处进行颜色填充。即lfit缩略类型的图片在矩形空白处进行颜色填充。 fixed：强制按照固定的宽高进行缩略。
通过此操作可以忽略请求参数非法、图片超过处理限制等错误，直接返回原图。 操作名称：ignore-error 表1 忽略错误参数说明 参数 取值说明 代码样例 value 取值为0或1。默认值为0。 0：不忽略报错。遇到错误时，服务端正常返回报错信息。 1：忽略报错。当出现请求参数非法、图片超过处理限
格式转换与渐进显示 格式转换 此功能在控制台图形界面模式和代码编辑模式使用，也支持通过接口调用模式使用。可以将原图转换为支持的图片格式，具体说明如表1所示。 支持的原图格式：jpg、jpeg、png、bmp、webp、gif、tiff。 支持输出的目标图格式：jpg、png、bmp、webp。
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
数据保护技术 OBS通过多种数据保护手段和特性，保障存储在OBS中的数据安全可靠。 表1 OBS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密（HTTPS） OBS支持HTTP和HTTPS两种传输协议，为保证数据传输的安全性，推荐您使用更加安全的HTTPS协议。
技术支持渠道 您可以通过关键字在左侧搜索框中搜索本产品的文档，帮助您快速找到需要的文档。 开发者社区提供的技术支持渠道如下： 开发过程中，您有任何问题可以在华为云对象存储服务论坛中发帖求助。
概述 DataX是一个数据同步框架，实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务，本文介绍DataX如何对接OBS。
技术支持渠道 您可以通过关键字在左侧搜索框中搜索本产品的文档，帮助您快速找到需要的文档。 开发者社区提供的技术支持渠道如下： 开发过程中，您有任何问题可以在华为云对象存储服务论坛中发帖求助。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
