检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 文件上传使用本地文件作为对象的数据源。以下代码展示了如何进行文件上传: // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的
获取桶元数据 您可以通过getBucketMetaData获取桶元数据。以下代码展示如何获取桶元数据: static OBSClient *client; NSString *endPoint = @"your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文
开始图片处理(API接口) 使用流程 OBS提供了REST接口。REST从资源的角度来观察整个网络,分布在各处的资源由URI(Uniform Resource Identifier)确定,而客户端的应用通过URL(Unified Resource Locator)来获取资源。UR
OBS数据删除或覆盖后是否可以恢复? 华为云无法恢复您主动删除、覆盖、配置规则自动删除或服务协议到期自动删除的OBS数据,请您谨慎操作。 可能导致数据被删除或覆盖的场景: 通过控制台、API、SDK、OBS Browser+、obsutil、obsfs方式删除对象。详情请参见删除对象。
在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 在左侧导航栏选中“数据回源”,进入“数据回源”页面。 单击“复制”。 选择复制源,即数据回源规则所在的源桶。 从源桶复制数据回源规则的操作为增量复制,不会删除当前桶已存在的数据回源规则,与已存在的数据回源规则冲突的规则不会复制。 源桶和目标桶的桶版本号都必须是3
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 在OBS中,用户操作的基本数据单元是对象。OBS Java SDK提供了丰富的对象上传接口,可以通过以下方式上传对象: 流式上传 文件上传 分段上传 追加上传 断点续传上传 基于表单上传 SDK支持
a256作为自定义元数据。 说明: 为了节省内存开销,SDK 采用了流式计算的方法,这也就意味着,普通上传时需要读取并加密文件两次;在另外由于断点续传上传接口为分段上传接口的封装,在断点续传下,则需要读取并加密文件三次。 取值范围: True:校验加密后数据的sha256,SDK自动计算待上传对象的加密前
当进行复制对象操作时,目标对象默认复制源对象的元数据;用户也可以将目标对象的元数据替换为本次请求中所带的元数据。新建的目标对象不会复制源对象的ACL信息,默认的新建对象的ACL是private,用户可以使用设置ACL的操作接口来重新设定新对象的ACL。 复制对象操作的请求需要通
SDK创建并行文件系统。 调用创建并行文件系统接口,将在当前账号按照用户指定的并行文件系统名创建一个新并行文件系统,接口支持根据用户诉求,在创建并行文件系统的同时配置并行文件系统的存储类别、区域及并行文件系统的访问权限等参数。 接口约束 您必须拥有obs:bucket:Creat
参数解释: 对象的自定义元数据,OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。Map中的String代表以“x-obs-meta-”开头的自定义元数据名称,Object代表自定义元数据的值。对象的自定义元数据可以通过ObsClient
流式下载 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 以下代码展示了如何进行流式下载: // 初始化配置参数 ObsConfig config = new ObsConfig();
仅作为参考。请务必在日常使用中提高数据安全意识并时刻做好内容安全防范措施。 可能导致数据被删除或覆盖的场景 通过控制台、API、SDK、OBS Browser+、obsutil、obsfs方式删除对象。详情请参见删除对象。 通过控制台、API、SDK、OBS Browser+、
SDK创建并行文件系统。 调用创建并行文件系统接口,将在当前账号按照用户指定的并行文件系统名创建一个新并行文件系统,接口支持根据用户诉求,在创建并行文件系统的同时配置并行文件系统的存储类别、区域及并行文件系统的访问权限等参数。 接口约束 您必须拥有obs:bucket:Creat
热点文件需要频繁访问数据的业务场景,例如:大数据、移动应用、热点视频、社交图片等场景。 OBS低频访问存储适用于不频繁访问(少于每月一次访问)但在需要时也要求快速访问数据的业务场景,例如:文件同步/共享、企业备份等场景。与标准存储相比,低频访问存储有相同的数据持久性、吞吐量以及访
设置桶归档存储对象直读策略 功能介绍 归档存储对象直读是指用户可以不用恢复归档存储对象,便能直接对其进行操作。 默认情况下,桶没有开启归档存储对象直读功能。 本接口主要用来开启或关闭桶的归档存储对象直读功能。 设置桶的归档存储对象直读状态为Enabled,开启桶的归档存储对象直读功能: 桶内存在归档存
OPTIONS桶 功能介绍 OPTIONS,称为预请求,是客户端发送给服务端的一种请求,通常被用于检测客户端是否具有对服务端进行操作的权限。只有当预请求成功返回,客户端才开始执行后续的请求。 OBS允许在桶内保存静态的网页资源,在正确的使用下,OBS的桶可以成为网站资源。在这种使
DataX对接OBS 概述 DataX是一个数据同步框架,实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS
配置和查看对象元数据 使用场景 元数据(Metadata)为描述对象属性的信息,是一组名称和值的配对,用作对象管理的一部分。OBS 中有两种元数据:系统定义的对象元数据和对象自定义元数据介绍。 您可以在上传对象时在OBS中设置对象元数据,也可以在上传对象后修改元数据。 元数据介绍 系统定义的对象元数据