检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下列情况下（但不仅限于此）通常会导致数据上传失败而产生垃圾数据，因此需要清理这些碎片数据来释放空间。 网络条件较差，与OBS 对象存储的服务器之间的连接经常断开。 上传过程中，人为中断上传任务。 设备故障。 突然断电等特殊情况。 碎片管理功能可以清除由于对象上传失败而产生的垃圾数据。
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash，例如≥7.10.2的版本，避免使用较老版本的logstash。 对接步骤 以logstash-7
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
如何永久分享文件或文件夹 通过OBS Browser+工具可以实现分享文件或分享文件夹，通过该方式生成的分享链接中都包含链接的有效时间，超过有效期后即无法通过该链接继续访问。 永久分享文件：可通过将对象权限设置为匿名用户读取权限，通过获取对象URL，匿名用户通过该URL地址访问对象数据。
桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据，在下列情况下（但不仅限于此）通常会导致数据上传失败而产生碎片。 网络条件较差，与OBS的服务器之间的连接经常断开。 上传过程中，人为中断上传任务。 设备故障。 突然断电等特殊情况。 父主题： 碎片管理
户无法获取某个桶长期有效的固定IP地址。 此时，可以通过在ECS上搭建Nginx反向代理服务器，来实现通过固定IP地址访问OBS。 使用自定义域名托管静态网站 当企业有大量静态网站需要提供给用户访问，却不想搭建网站服务器时，可以将静态网站托管在OBS桶中，用户可以直接通过OBS桶绑定的自定义域名访问托管的静态网站。
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外
1XX 信息，服务器收到请求，需要请求者继续执行操作，一般对客户调用函数不可见。 2XX 成功，操作被成功接收并处理。 3XX 重定向，需要进一步的操作以完成请求，一般对客户调用函数不可见。 4XX 客户端错误，请求包含语法错误或无法完成请求。 5XX 服务器错误，服务器在处理请求的过程中发生了错误。
据上传失败而产生碎片。 网络条件较差，与OBS的服务器之间的连接经常断开。 上传过程中，人为中断上传任务。 设备故障。 突然断电等特殊情况。 文件上传失败或上传任务暂停后，都会有碎片存储在OBS中，可以通过任务管理重新启动上传，实现断点续传。上传成功后，碎片将自动消失。 您也可以
获取自定义元数据 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。 本示例用于下载桶名为“bucketname”里，名称为“objectn
如何在浏览器中在线预览OBS中的对象？ 背景信息 基于安全合规要求，华为云对象存储服务OBS禁止通过OBS的默认域名（桶访问域名或静态网站访问域名）在线预览桶内对象，即使用上述域名从浏览器访问桶内对象（如视频、图片、网页等）时，不会显示对象内容，而是以附件形式下载。 OBS不支持
OBS所有语言的SDK都已实现表单上传签名，无需手动进行签名计算。推荐您直接使用SDK进行接口调用，更方便快捷。 SDK签名实现 手动编码计算签名 按照签名算法手动编码计算签名。 签名算法 SDK签名实现 表6 OBS SDK Header携带签名的实现 SDK 签名实现源文件 Java AbstractClient
在域名注册商处修改域名解析服务器地址。 在域名注册商处，将该根域名对应的NS记录中域名解析服务器地址修改为云解析服务（DNS）服务器的地址，具体地址为云解析服务中该公网域名记录集中NS记录的值字段内容信息。 详细的更改域名解析服务器地址的方法请参见配置网站解析章节中的“更改域名的DNS服务器”部分。
分享文件或文件夹 对象URL（对象共享）功能，可实现匿名用户通过对象共享链接地址，直接访问对象数据。 前提条件 已通过OBS管理控制台设置匿名用户读取该指定对象的权限。对象ACL权限设置请参考ACL章节。 操作步骤 登录OBS Browser+。 选中待配置的对象，单击需要共享的对象右侧的图标，如下图1、图2所示。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
Browser对对象进行上传、下载、删除等管理操作时，需要调用OBS Browser内置数据库，数据库在运行时产生的二进制数据默认保存在Windows操作系统用户的个人文件夹下。 当Windows操作系统用户名包含非英文字符时，OBS Browser内置数据库无法识别数据保存路径，进而导致上传、下载、删除等任务无
注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的：HDFS租约机制可以保证并发写同一个文件时不会产生一致性问题，但是OBS实现的HDFS协议不支持租约Lease机制（并发写同一个文件时将产生不可确定的状态），所以在flume场景下可以通过文件命名规则进行解决。 如
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
