检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ag是对象内容的唯一标识,可以通过该值识别对象内容是否有变化。比如上传对象时ETag为A,下载对象时ETag为B,则说明对象内容发生了变化。ETag只反映变化的内容,而不是其元数据。上传的对象或拷贝操作创建的对象,都有唯一的ETag。 约束限制: 当对象是服务端加密的对象时,ETag值不是对象的MD5值。
能应用于对象。 AclBucketOwnerFullControl bucket-owner-full-control 设在对象上,桶和对象的所有者拥有对象的完全控制权限,其他任何人都没有访问权限。 默认情况下,上传对象至其他用户的桶中,桶拥有者没有对象的控制权限。对象拥有者为桶
检查网络。 ping同区域的OBS终端节点(Endpoint),例如ping obs.cn-north-1.myhuaweicloud.com,检查网络时延、丢包率等。 OBS各区域终端节点列表 检查是否通过内网访问OBS。 检查方法参考如何判断是否内网访问OBS?。 对于大量小文件的
我可以在OBS中存储多少数据? OBS系统和单个桶都没有总数据容量和对象/文件数量的限制,但对于单次上传对象的大小有如下限制: OBS管理控制台支持批量上传文件,单次最多支持100个文件同时上传,总大小不超过5GB。如果只上传1个文件,则这个文件最大为5GB。 OBS Brows
可以具体分析实际网络链路中是否存在丢包等问题从而针对性解决。 解决思路: 在网络不通的情况下优先解决本地网络问题;如需配置代理可以参考为obsutil配置HTTP代理。 在偶现该问题的情况下,可以考虑重试命令以规避该问题;针对上传/下载/复制等场景,可以在执行cp时指定-u参数进
} } 按文件夹分组列举所有对象 OBS本身是没有文件夹的概念的,桶中存储的元素只有对象。文件夹对象实际上是一个大小为0且对象名以“/”结尾的对象,将这个文件夹对象名作为前缀,即可模拟列举文件夹中对象的功能。以下代码展示如何列举文件夹中的对象: 1 2 3 4 5
使用obsutil下载文件到99%后失败 出现该问题的主要原因: 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。
如何修改桶所属的企业项目? 当OBS桶需要按照企业业务进行分组管理或者已有分组发生变化时,可以通过对OBS桶资源执行迁出操作,实现桶所属企业项目的修改。 您只需要在桶当前所属的企业项目中找到对应的桶,并迁出至其他企业项目即可。详细操作步骤,请参见迁出企业项目资源。 父主题: 桶和对象相关
取消挂载并行文件系统失败 本文根据在取消挂载并行文件系统时遇到的不同现象,总结了常见取消挂载并行文件系统失败的可能原因及解决办法。 现象一:取消挂载并行文件系统时出现“target is busy”类似错误 问题定位: 取消挂载时,命令行终端停留在挂载目录或其子目录。 解决办法:
OBS账单为什么会出现0.01元的计费? 如果账单中出现0.01元的计费,可能与小额累计有关。 扣费的最小粒度为0.01元。每小时消费不足0.01元的情况下,会触发小额累计,累计一天后如果仍不足0.01元则不扣费。第二天会继续进行累计。直到消费累计大于或等于0.01元的情况下,会直接进行扣费。
桶的所有者可以通过编写桶策略,限定桶的访问权限。 桶策略可基于各种条件,如动作、被授权用户、资源和请求的其他要素(如IP地址)提供对桶和对象的集中访问控制。如果资源设置为*,则权限适用于该桶内所有对象。例如,账户可以按以下维度制定策略,授予某用户写权限: 给予用户特定的桶的写权限。 给予特定的网络中的用户写权限。
临时访问密钥主要用于授权第三方临时访问OBS服务。例如,部分企业拥有自己的用户管理系统,用户管理系统中的用户包括终端APP用户、企业本地用户等,这部分用户并不具有IAM用户的权限,通过授予其临时访问密钥来访问OBS。 典型场景如下: 某企业拥有大量的终端APP,终端APP都需要拥有访问OBS服务的能力,不
必选 参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
flink-obs-fs-hadoop目前仅支持OBS并行文件系统。 为了减少日志输出,在/opt/flink-1.12.1/conf/log4j.properties文件中增加配置: logger.obs.name=com.obs logger.obs.level=ERROR flink-obs-fs-hado
OBS支持使用HTTPS协议访问吗? OBS支持HTTPS访问。 使用OBS分配的域名进行访问时,只要在浏览器中将桶或对象的URL的http替换成https即可。 OBS自定义域名绑定配合CDN同时使用时,通过CDN管理控制台进行HTTPS证书管理,即可使用HTTPS访问。CDN
创建用户组,为用户组设定IAM权限集。 创建IAM用户,用户加入用户组以获取相关的权限。 桶策略 桶策略是作用于所配置的OBS桶及桶内对象的。OBS桶拥有者通过桶策略可为IAM用户或其他账号授权桶及桶内对象的操作权限。 访问控制列表 (ACL) ACL是基于账号级别的读写权限控制,权限控制细粒度不如桶策
定时上传是否采用增量 OBS Browser+的定时上传任务默认情况下采用的是增量上传,当周期开始时,OBS Browser+会扫描本地文件与桶中对应路径的对象进行对比,仅在对象不存在,或者对象大小与文件大小不一致,或者对象的最后修改时间早于文件的最后修改时间时才会进行上传。 需
签名不匹配异常 如果从请求响应中获取到HTTP状态码为403,OBS服务端错误码为OBS_STATUS_SignatureDoesNotMatch,请检查AK/SK是否有误。 父主题: 异常处理