检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多版本控制 使用场景 利用多版本控制,您可以在一个桶中保留多个版本的对象,使您更方便地检索和还原各个版本,在意外操作或应用程序故障时快速恢复数据。 默认情况下,OBS中新创建的桶不会开启多版本功能,向同一个桶上传同名的对象时,新上传的对象将覆盖原有的对象。 约束与限制 开启了桶级W
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
getObjectMetadata接口获取目标对象大小和最后修改时间,再与数据源进行比较: 如果两者大小一致且目标对象的最后修改时间晚于数据源的最后修改时间则表明上传成功,否则上传失败。 ObsClient.getObjectMetadata接口的使用可参见18.4-获取对象元数据。 父主题: 常见问题(Java SDK)
e,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 为桶添加标签后,该桶上所有请求产生的计费话单里都会带上这些标签,从而可以针对话单报表做分类筛选,进行更详细的成本分析。例如:某个应用程序在运行过程会往桶里上传数据,我们可以用应用名称作为标签,设置到被使用的桶上。在分析话单时
传任务号,为特定的任务上传段。添加段的方式还包括调用段复制接口。允许用户将已上传对象的一部分或全部复制为段。 将源对象object复制为一个段part1,如果在复制操作之前part1已经存在,复制操作执行之后,旧的段数据part1会被新复制的段数据覆盖。复制成功后,只能列举到最新
传任务号,为特定的任务上传段。添加段的方式还包括调用段拷贝接口。允许用户将已上传对象的一部分或全部拷贝为段。 将源对象object拷贝为一个段part1,如果在拷贝操作之前part1已经存在,拷贝操作执行之后,旧的段数据part1会被新拷贝的段数据覆盖。拷贝成功后,只能列举到最新
e,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 为桶添加标签后,该桶上所有请求产生的计费话单里都会带上这些标签,从而可以针对话单报表做分类筛选,进行更详细的成本分析。例如:某个应用程序在运行过程会往桶里上传数据,我们可以用应用名称作为标签,设置到被使用的桶上。在分析话单时
e,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 为桶添加标签后,该桶上所有请求产生的计费话单里都会带上这些标签,从而可以针对话单报表做分类筛选,进行更详细的成本分析。例如:某个应用程序在运行过程会往桶里上传数据,我们可以用应用名称作为标签,设置到被使用的桶上。在分析话单时
账号或IAM用户已具有Tenant Administrator权限。给账号授权请参见给IAM用户授权。 操作流程 图2 为图片添加水印流程 实施步骤 步骤一:创建OBS源桶和目标桶 桶是OBS中用于存储对象的容器。本示例中,上传的图片存储在源桶,添加水印后的图片存储在目标桶。如果您已有源桶和目标桶,请跳至步骤二:创建函数。
我对存储在OBS上的数据加密时,可支持哪些加密技术? 您在将数据上传到OBS中前,可以事先对数据进行加密,以保证传输和保存的安全性。OBS不限定客户端加密的技术。 用户可根据需要对对象进行服务端加密,使对象更安全的存储在OBS中。 需要上传的对象可以通过数据加密服务器提供密钥的方
算法对对象数据进行加解密,避免数据明文存储。OBS不存储您提供的加密密钥,如果您丢失加解密密钥,则会无法获取该对象明文数据。详情请参见服务端加密SSE-C方式。 构建数据的恢复、容灾能力避免数据被异常破坏 预先构建数据的容灾和恢复能力,可以有效避免异常数据处理场景下数据误删、破坏的问题。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
由于业务原因,您需要将OBS数据从一个区域的数据中心迁移至另一个区域的数据中心。 数据备份与容灾 出于对数据安全性以及可用性的考虑,您希望对所有写入OBS的数据,都在另一个区域的数据中心显式地创建一个备份,以防止在数据发生不可逆损毁时,有安全、可用的备份数据。 易维护 您在两个不同OBS区域中具
需要使用IAM增加Tenant Administrator权限后才能设置、获取、删除在线解压策略。 在线解压源需使用IAM创建云服务委托,委托OBS获取桶内数据,上传数据到桶内。委托需要给OBS服务授予obs:object:PutObject、obs:object:GetObject、obs:objec
回调结构体,结构体内所有成员都是回调函数的指针,用于设置处理接口响应数据的回调函数。您可以通过设置回调函数,把服务端的响应数据复制到您的自定义回调数据callback_data中。 约束限制: 无 callback_data void * 可选 参数解释: 用户自定义回调数据。 约束限制: 无 取值范围: 无 默认取值:
回调结构体,结构体内所有成员都是回调函数的指针,用于设置处理接口响应数据的回调函数。您可以通过设置回调函数,把服务端的响应数据复制到您的自定义回调数据callback_data中。 约束限制: 无 callback_data void * 必选 参数解释: 用户自定义回调数据。 约束限制: 无 取值范围: 无 默认取值:
回调结构体,结构体内所有成员都是回调函数的指针,用于设置处理接口响应数据的回调函数。您可以通过设置回调函数,把服务端的响应数据复制到您的自定义回调数据callback_data中。 约束限制: 无 callback_data void * 可选 参数解释: 用户自定义回调数据。 约束限制: 无 取值范围: 无 默认取值:
分为如下三步: 初始化上传段任务 上传段 合并段 48.8TB < 上传对象 如果您有更大量的数据(大于48.8TB)需要上传至OBS,可以参考搬迁本地数据至OBS和迁移第三方云厂商数据至OBS。 父主题: 桶和对象相关
为什么会有碎片产生? 桶中不完整的数据称之为碎片,通常是由于数据上传失败而产生的。 OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。
碎片管理 背景信息 对象存储服务采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。