检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop
创建OBS客户端(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 OBS客户端(ObsClient)是访问OBS服务的Node.js客户端,它为调用者提供一系列与OBS服务进行交互的接口,用于管理、操作桶
删除多版本对象(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 可以通过ObsClient.deleteObject接口指定VersionId参数删除多版本对象,接口定义请参见删除对象(Node.js
获取桶日志管理配置(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 调用获取桶日志管理配置,可获取指定桶的日志配置。 接口约束 您必须是桶拥有者或拥有获取桶日志管理配置的权限,才能获取桶日志管理配置
分段上传-列举已上传的段(Go SDK) 功能说明 通过分段上传任务的ID,列举指定桶中已上传的段。 您可以列出特定多段上传任务或所有正在进行的多段上传任务的分段。列举已上传的段操作将返回您已为特定多段上传任务而上传的段信息。对于每个列举已上传的段请求,OBS将返回有关特定多段上传任务的分段信息
无法搜索到桶中对象或对象不存在返回403 无法搜索到桶中对象,可能是由于您输入的搜索名称不正确: OBS管理控制台和OBS Browser+支持通过前缀搜索对象,例如,您搜索“test”,搜索结果为以前缀为“test”的对象。 如果您输入的不是待搜索对象名称的前缀,则搜索不到对象。
静态网站托管简介(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 您可以将静态网站文件上传至OBS的桶中作为对象,并对这些对象赋予公共读权限,然后将该桶配置成静态网站托管模式,以实现在OBS上托管静态网站的目的
如何指定Content-SHA256?(Node.js SDK) 上传对象和上传段支持携带x-obs-content-sha256头域,该头域值为请求消息体256-bit SHA256值转十六进制值,计算方式为Hex(SHA256Hash(<payload>),服务端会对携带此头域的请求计算其消息体的
给业务部门授予独立的资源权限 通常一个企业可能会分设多个业务部门,各业务部门之间的数据需要独立管理。在此场景下,可以考虑给各业务部门分配各自所需的IAM用户,通过桶策略给每个业务部门下的IAM用户授予独立的资源权限。 场景假设 假设某企业下有A和B两个不同的业务部门,希望各业务部门的数据存放在自己的桶中
分段上传-取消分段上传任务(Go SDK) 功能说明 通过分段上传任务的ID,取消指定桶中的分段上传任务。 您可以选择取消多段上传任务,取消多段上传任务之后无法再次使用该上传ID上传任何段。然后,OBS将释放被取消的多段上传任务中的每个段数据的所有存储。如果有多段上传已在进行中,即使您已执行中止操作
恢复归档或深度归档存储对象(Go SDK) 功能说明 如果要获取归档或深度归档存储对象的内容,需要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标准存储类型的对象副本,也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储对象,在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除
统计文件夹中的对象数量和大小 如果您需要统计桶中文件夹的大小及其所含对象数量,可以使用文件夹统计功能。 统计文件夹大小会收取“列举桶内对象”接口的调用费用,详情请参考计费说明。 约束与限制 支持统计对象数量在100万以内的文件夹,对象数量超过100万的文件夹建议使用obsutil工具的列举对象命令进行统计
列举桶中已初始化多段任务 功能介绍 用户可以通过本接口查询一个桶中所有的初始化后还未合并以及未取消的多段上传任务,了解完整的分段上传流程请参见分段上传。 请求消息样式 GET /?uploads&max-uploads=max HTTP/1.1 Host: bucketname.obs.cn-north
对象存储与SAN存储和NAS存储相比较有什么优势? SAN存储提供给应用的是一个LUN或者是一个卷,LUN和卷是面向磁盘空间的一种组织方式,上层应用要通过FC或者ISCSI协议访问SAN。SAN存储处理的是管理磁盘的问题,其他事情都要依靠上层的应用程序实现。 NAS存储提供给应用的是一个文件系统或者是一个文件夹
资源包是否必须购买?是否能指定给具体的桶使用? 资源包并不是必须要购买的,即使您没有购买也可以使用OBS服务,此时计费模式采用按需计费。但是购买资源包后,资源包可以抵扣使用OBS所产生的费用,相比不购买资源包采用按需计费的方式更优惠,因此推荐您按实际业务购买对应的资源包。 当前资源包是按类型和区域划分的
OBS存储资源包使用超量后是否会限制对桶的写入 不会限制。 OBS桶具有“无限容量”,超出存储资源包部分会自动转为按需计费,或者您可以升配资源包、继续叠加购买资源包。叠加购买资源包的方法,请参考资源包叠加购买。 升配资源包的方法,请参考资源包升配。 父主题: 计费相关
配置SDK代理(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 在项目工程根目录下使用npm命令下载proxy-agent依赖包。 npm install --save proxy-agent 在项目工程里面声明并配置代理
公网环境下如何提高上传大文件速度?(Java SDK) 在公网环境下对于超过100MB的大文件,建议通过分段上传方式上传。 分段上传是将单个对象拆分为一系列段分别上传,每个段都是对象数据的连续部分,您可以按照任意顺序上传段。如果其中某个段传输失败,可以重新传输该段且不会影响其他段。