检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置匿名用户的桶ACL访问权限。 公共读/公共读写权限切换私有权限,切换后除桶或对象的所有者外,其余用户无访问权限。 私有权限切换公共读权限,可以使任何用户在不用身份认证的情况下直接读取桶内的对象,请谨慎操作。 私有权限切换公共读写权限,可以使任何用户在不用身份认证的情况下直接读/写/删桶内的对象,请谨慎操作。
服务韧性 OBS提供五级可靠性架构,通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案,保障数据的持久性和可用性。 OBS的数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。 图1 五级可靠性架构保证数据稳定,业务可靠
y参数中携带鉴权信息的URL,可将该URL提供给其他用户进行临时访问。在生成URL时,您需要指定URL的有效期来限制访客用户的访问时长。 临时URL允许第三方用户在没有安全凭证或者授权的情况下进行上传操作。第三方用户使用临时URL上传对象后,OBS将在指定的Bucket生成该对象
SSE-C方式,OBS使用用户提供的密钥和密钥的MD5值进行服务端加密。 新增头域 OBS不存储您提供的加密密钥,如果您丢失加密密钥,则会无法获取该对象。SSE-C方式新增加六个头域来支持SSE-C加密。 使用SSE-C方式加密对象,您必须使用下面的三个头域。 表1 SSE-C方式加密对象使用的头域 名称
S实现的HDFS协议不支持租约Lease机制(并发写同一个文件时将产生不可确定的状态),所以在flume场景下可以通过文件命名规则进行解决。 如sink文件的命名规则:hostname-sinkname作为文件的前缀,如果一个主机上部署了多个flume agent,不同的agent要有不同的sinkname。
资源包所属区域和类型需要和桶属性相匹配,才能正常使用资源包抵扣桶的相关费用。 “定向使用”可限定企业项目使用所购资源包,即仅在所选企业项目下的桶才能使用此资源包进行抵扣,同时也需满足资源包所属区域和类型与桶属性匹配的要求。该选项仅对企业账号展示。 单击“加入清单”。 在右侧确认资源包清单后,单击“立即购买”。
使用场景 伴随着互联网的高速发展,数据存储场景越来越多样化,单一的存储类别已无法满足多样化的存储场景和成本管理诉求。OBS设计了多种存储类别,支持的存储类别有标准存储、低频访问存储、归档存储、深度归档存储(受限公测),您可以结合自身业务合理选择。不同规格的存储类别计费参见存储费用。
SDK为桶相关接口均提供了使用带授权信息的URL访问OBS服务的方法,这些方法可能包含以下三个参数: 带授权信息的URL 通过带授权信息的URL发起请求时实际应携带的头域 请求携带的数据(可选) 关于如何生成带授权信息的URL,请参考生成带授权信息的URL。 父主题: 桶相关接口(Go
S Browser支持上传最大为48.8TB的单个文件。 OBS Browser支持断点续传。当上传任务暂停或者失败,重新启动上传任务,根据任务记录的分片信息,已上传成功的分片不会再次上传,会请求上传其他的分片。 对于万级别的文件数量的批量上传,建议使用obsutil工具,详见上传对象。
如果想对象可以被匿名用户访问,可通过以下三步完成: 参考管理对象访问权限章节,设置对象的访问权限为公共读。 参考如何获取对象URL章节,获取对象的URL提供给匿名用户。 匿名用户通过浏览器打开获取的URL,可访问到该对象。 父主题: 常见问题(Python SDK)
EntityTooLarge 用户POST上传的对象大小超过了条件允许的最大大小。 修改POST上传的policy中的条件或者减少对象大小。 400 Bad Request EntityTooSmall 用户POST上传的对象大小小于条件允许的最小大小。 修改POST上传的policy中的条件或者增加对象大小。
与访问OBS桶类似,使用obsfs挂载并访问并行文件系统的IAM用户需要具备OBS相关的访问权限,且与OBS桶的权限要求一致。给IAM用户授予OBS相关角色或策略后,将同时对OBS桶和并行文件系统有效。 创建IAM用户 访问密钥(AK和SK) 访问密钥(AK和SK)是账号或IAM用户的凭证信息,obsfs通过访
了使用带授权信息的URL访问OBS服务的方法,这些方法可能包含以下三个参数(ObsClient.PutFileWithSignedUrl除外): 带授权信息的URL 通过带授权信息的URL发起请求时实际应携带的头域 请求携带的数据(可选) 关于如何生成带授权信息的URL,请参考生成带授权信息的URL。
密后,对于任何不带加密头域的上传对象的请求,将使用桶的默认加密配置进行加密。有关桶的加密配置的更多信息请参考设置桶的加密配置章节。 表1 SSE-OBS方式使用的头域 名称 描述 x-obs-server-side-encryption 使用该头域表示服务端加密是SSE-OBS方式。对象使用SSE-OBS方式加密。
OBS的使用涉及以下几项费用: 存储费用:静态网站文件存储在OBS中产生的存储费用。 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关,请根据自己的业务进行预估。
obsutil支持上传文件/文件夹时上传软链接指向的真实路径。您可通过在运行上传/增量同步上传时指定命令级参数:link,来实现上传软链接的功能。 obsutil支持识别文件夹软链接,如果软链接指向的真实路径是一个文件夹则会递归扫描该文件夹中的内容。 文件夹软链接不能形成环,否则上传会以panic的形式退出;如果不
OBS的使用涉及以下几项费用: 存储费用:静态网站文件存储在OBS中产生的存储费用。 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关,请根据自己的业务进行预估。
包含公网/内网流入流量和公网/内网流出流量的趋势。 请求 请求趋势 包含请求总数和总请求平均时延趋势。 请求次数 分别统计产生的GET请求、PUT请求和DELETE请求的次数,以及所有请求的次数总和。 请求使用率 分别统计请求的成功率、有效率和中断率。 状态码分布 分别统计产生请求后服务端返回的状态码的分布情况。不同的状态码详细介绍请参考状态码说明。
Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。
用户可根据需要将存储在OBS上的文件或文件夹复制到其他路径下。 批量复制文件数量超过万级别时,建议使用obsutil工具,详见复制文件。 前提条件 用户需要有待操作文件的ACL读权限。 操作步骤 登录OBS Browser。 选中待配置的桶,进入桶界面。 右键单击需要复制的文件或文件夹,并选择“复制”。