检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该新增的三个头域可以应用于如下接口: PUT上传对象 POST上传对象 复制对象(新增的头域针对目标对象) 获取对象元数据 获取对象内容 初始化上传段任务 上传段 拷贝段(新增的头域针对目标段) 针对复制对象和拷贝段,另外增加三个头域支持源对象是SSE-C加密的场景。 表2 源对象是SSE-C加密的头域 名称
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
为什么SDK源码中包含acs.amazonaws.com关键字? OBS SDK 为了兼容访问aws s3服务,在源码中会包含acs.amazonaws.com关键字的固定格式,SDK仅作常量使用,不会向该格式有其他处理,也不会对其访问。SDK会自动兼容该场景,用户可不感知。比如Go
填写前缀:满足该前缀的对象将受生命周期规则管理,即批量删除指定前缀的对象。 未填写前缀:桶内所有对象都将受生命周期规则管理,即清空桶。 当前版本 对象过期删除天数 1天 历史版本 对象过期删除天数 1天 1天后,桶内对象按照规则删除成功。如果您以后不再按照该规则删除对象,则停止或删除该生命周期规则。
获取桶的自定义域名 功能介绍 OBS使用GET操作来获取桶的自定义域名。 请求消息样式 1 2 3 4 5 6 GET /?customdomain HTTP/1.1 User-Agent: curl/7.29.0 Host: bucketname.obs.cn-north-4.myhuaweicloud
GetObjectVersion:获取指定版本对象内容、获取指定版本对象元数据 GetObjectVersionAcl:获取指定版本对象ACL GetObjectAcl:获取对象ACL RestoreObject:恢复归档存储对象 HeadBucket:判断桶是否存在、获取桶元数据 GetBucketLocation:获取桶位置
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
OBS会不会扫描我的数据用于其他用途? 不会。 系统对数据做的扫描仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),不会读取具体的内容。 父主题: 数据安全、迁移和备份
资源包是否必须购买?是否能指定给具体的桶使用? 资源包并不是必须要购买的,即使您没有购买也可以使用OBS服务,此时计费模式采用按需计费。但是购买资源包后,资源包可以抵扣使用OBS所产生的费用,相比不购买资源包采用按需计费的方式更优惠,因此推荐您按实际业务购买对应的资源包。 当前资
删除桶的自定义域名 功能介绍 OBS使用DELETE操作来删除桶的自定义域名。 请求消息样式 1 2 3 4 5 6 DELETE /?customdomain=domainname HTTP/1.1 User-Agent: curl/7.29.0 Host: bucketname
delimiter 对于名字中包含delimiter的对象的任务,其对象名(如果请求中指定了prefix,则此处的对象名需要去掉prefix)中从首字符至第一个delimiter之间的字符串将作为CommonPrefix在响应中返回。对象名包含CommonPrefix的任务被视为一个分
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS
h等。 OBS支持静态网站托管。您可以通过OBS管理控制台将自己的桶配置成静态网站托管模式,当客户端通过桶的website接入点访问桶内的对象资源时,浏览器可以直接解析出这些网页资源,呈现给最终用户。 父主题: 静态网站托管
息体中的表单域传递。 PUT上传需在URL中指定对象名;POST上传提交的URL为桶域名,无需指定对象名。两者的请求行分别为: PUT /ObjectName HTTP/1.1 POST / HTTP/1.1 两种方式单次上传对象大小范围均为[0, 5GB],如果需要上传超过5GB的大文件,需要通过多段上传实现。
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
当月未用完的资源包用量是否会结转到下个月? 当前没有这种结转机制。 资源包每月重置规则说明: 按订购周期重置,即购买后每月同一天24:00:00重置资源额度。例如:您在4月15日任意时刻购买6个月的公网流出流量包2TB并支付,您在4月15日到5月15日24:00:00间就会有2T
签名不匹配(SignatureDoesNotMatch)如何处理 问题现象 调用OBS API报如下错误: 状态码:403 Forbidden 错误码:SignatureDoesNotMatch 错误信息:The request signature we calculated does
OBS的服务端加密会收取加密的费用吗? OBS的SSE-KMS服务端加密方式除了收取存储的费用,还会在KMS服务侧产生KMS密钥请求费用。 OBS的SSE-OBS服务端加密方式和SSE-C服务端加密方式不会收取加密费用,只收取存储的费用。 KMS密钥请求费用详情请参见数据加密服务如何收费和计费。