检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash，例如≥7.10.2的版本，避免使用较老版本的logstash。
部门/项目之间数据共享 企业不同部门/项目之间需要共享的数据，本部门/项目允许其他部门/项目用户下载共享数据，禁止写删，以降低共享数据被误删、篡改的风险。 本文以部门A共享存储在example-bucket桶中的数据给部门B的用户下载为例，介绍如何以最小权限原则对共享数据进行权限控制
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
我可以在OBS中存储多少数据？ OBS系统和单个桶都没有总数据容量和对象/文件数量的限制，但对于单次上传对象的大小有如下限制： OBS管理控制台支持批量上传文件，单次最多支持100个文件同时上传，总大小不超过5GB。如果只上传1个文件，则这个文件最大为5GB。 OBS Brows
服务器，再由应用服务器上传至OBS，数据需要在应用服务器中转，传输效率较低，且多任务同时上传时应用服务器压力大。 本文介绍一种在Web端利用PostObject接口直传文件至OBS的方法，即使用表单上传方式上传文件至OBS。如图1所示，该方案省去了应用服务器这一步骤，提高了传输效
设置对象元数据 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.setObjectMetadata来设置对象属性，包括CacheControl，Co
OBS的数据冗余存储方式是什么？ OBS采用Erasure Code（EC，纠删码）算法做数据冗余，不是以副本的形式存储。 在满足同等可靠性要求的前提下，EC的空间利用率优于多副本。 数据冗余存储策略为“单AZ”的桶，在AZ内的节点间使用EC算法做数据冗余；“多AZ”的桶在AZ内
通过相关服务将数据迁移到OBS 对象存储迁移服务（Object Storage Migration Service，OMS） 迁移第三方云厂商数据至OBS_OMS方式 云数据迁移（Cloud Data Migration，CDM） 搬迁本地数据至OBS_CDM方式 数据快递服务（Data
配置和查看对象元数据 使用场景 元数据（Metadata）为描述对象属性的信息，是一组名称和值的配对，用作对象管理的一部分。OBS 中有两种元数据：系统定义的对象元数据和对象自定义元数据介绍。 您可以在上传对象时在OBS中设置对象元数据，也可以在上传对象后修改元数据。 元数据介绍 系统定义的对象元数据
获取自定义元数据 在下载对象成功后response中包含了对象的元数据(mataDataDict)。 父主题： 下载对象
获取桶元数据(Python SDK) 功能介绍 调用获取桶元数据接口，可获取指定桶的相关信息，包括指定桶的存储类型、区域位置、跨域资源共享（CORS）规则、冗余策略等信息。 接口约束 您必须是桶拥有者或拥有获取桶元数据的权限，才能获取桶元数据。建议使用IAM或桶策略进行授权，如果
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。
获取自定义元数据 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。以下代码展示了如何获取自定义元数据： // 认证用的ak和sk硬编码到代
获取桶元数据(Go SDK) 功能介绍 调用获取桶元数据接口，可获取指定桶的相关信息，包括指定桶的存储类型、区域位置、跨域资源共享（CORS）规则、冗余策略等信息。 接口约束 您必须是桶拥有者或拥有获取桶元数据的权限，才能获取桶元数据。建议使用IAM或桶策略进行授权，如果使用IA
获取桶元数据(Harmony SDK) 功能介绍 调用获取桶元数据接口，可获取指定桶的相关信息，包括指定桶的存储类型、区域位置、跨域资源共享（CORS）规则、冗余策略等信息。 接口约束 您必须是桶拥有者或拥有获取桶元数据的权限，才能获取桶元数据。建议使用IAM或桶策略进行授权，如
获取自定义元数据 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。 本示例用于获取桶名为“bucketname”，名称为“objectname”的对象自定义元数据。
使用“回源配置方案”迁移增量对象数据 使用“源端/目的端双写方案”方案迁移增量对象数据 使用"多次同步方案"迁移增量对象数据 OBS镜像回源方式 一般情况下，当客户端访问OBS时，如果OBS中没有被访问的数据，将会返回404错误。OBS提供镜像回源功能，可以在被请求的数据不存在时，通过回源规则从源站获取对应数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
