检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop
下载对象-流式下载(Go SDK) 功能说明 您可以根据需要将存储在OBS中的对象下载到本地。 流式下载指定文件。 接口约束 您必须是桶拥有者或拥有下载对象的权限,才能下载对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:GetObject权限,如果使用桶策略则需授予
恢复归档或深度归档存储对象(Harmony SDK) 功能说明 如果要获取归档或深度归档存储对象的内容,需要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标准存储类型的对象副本,也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储对象,在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除
创建OBS客户端(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 OBS客户端(ObsClient)是访问OBS服务的Node.js客户端,它为调用者提供一系列与OBS服务进行交互的接口,用于管理、操作桶
删除多版本对象(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 可以通过ObsClient.deleteObject接口指定VersionId参数删除多版本对象,接口定义请参见删除对象(Node.js
为什么SDK源码中包含acs.amazonaws.com关键字? OBS SDK 为了兼容访问aws s3服务,在源码中会包含acs.amazonaws.com关键字的固定格式。 SDK仅作常量使用,不会向该格式有其他处理,也不会对其访问。 SDK会自动兼容该场景,用户可不感知。例如
获取桶日志管理配置(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 调用获取桶日志管理配置,可获取指定桶的日志配置。 接口约束 您必须是桶拥有者或拥有获取桶日志管理配置的权限,才能获取桶日志管理配置
登录OBS Browser时,登录界面无反应 问题 登录客户端时,登录界面无反应。 Windows 32位的OBS Browser更新为Windows 64位的,登录OBS Browser,界面无反应。 回答 请删除C盘用户目录AppData\Local下的obs文件夹以清理OBS
CDN加速场景下访问OBS桶内对象变成强制下载 问题现象 在OBS控制台配置自定义域名开启CDN加速后,或在CDN控制台配置“源站类型”为“OBS桶域名”的加速域名后,访问OBS桶中对象无法在线预览,变成强制下载。 解决方案 该问题有以下两种解决方案。 方案一: 登录CDN控制台的
如何对OBS桶下面的文件夹进行权限控制? 可以创建自定义桶策略,允许对指定的对象前缀配置需要的权限,即通过对象前缀来控制指定的文件夹。 例如:配置前缀为abc/,则表示所配置权限对文件夹abc生效。 具体配置请参考自定义创建桶策略(可视化视图)。 父主题: 权限相关
桶存储类别和对象存储类别有什么关系? 上传对象时,对象的存储类别默认继承桶的存储类别。您也可以重新指定对象的存储类别,同时也支持在对象上传完成后修改对象的存储类别。 修改桶的存储类别,桶内已有对象的存储类别不会修改,新上传对象时的默认对象存储类别随之修改。 父主题: 桶和对象相关
如何在不暴露AKSK的条件下实现与OBS交互? 使用BrowserJS SDK与OBS服务交互时,必须将AK/SK暴露到前端,这样会存在安全问题。为避免该问题出现,可让后端生成临时签名URL给前端后,前端再与OBS交互。 比如:实现上传功能。 // 后端使用NodeJS SDK /
设置桶的生命周期配置(Harmony SDK) 功能介绍 OBS支持用户配置指定的规则,实现定时删除桶中的对象或者定时转换对象的存储类别,从而节省存储费用更多生命周期相关信息请参见生命周期管理。 调用设置桶的生命周期配置接口,您可以为指定桶设置生命周期策略。 对象生命周期到期以后,
截断对象(Harmony SDK) 功能说明 截断对象操作是指将指定并行文件系统内的一个对象截断到指定大小。 接口约束 您必须是并行文件系统拥有者或拥有截断对象的权限,才能截断对象。建议使用IAM或策略进行授权,如果使用IAM则需授予obs:bucket:PutObject权限,如果使用策略则需授予
OBS客户端初始化(Harmony SDK) 功能说明 ObsClient是访问OBS服务的Harmony客户端,它为调用者提供一系列与OBS服务进行交互的接口,用于管理、操作桶(Bucket)和对象(Object)等OBS服务上的资源。使用OBS Harmony SDK向OBS发起请求
开发环境准备(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 从Node.js官网下载并安装推荐使用的版本。 从Eclipse官网下载并安装Eclipse IDE for JavaScript and
获取桶区域位置(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 获取指定桶所在的区域位置。 接口约束 您必须是桶拥有者或拥有获取桶区域位置的权限,才能获取桶区域位置。建议使用IAM或桶策略进行授权