检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
挂载并行文件系统失败 本文根据在挂载并行文件系统时遇到的不同现象,总结了常见挂载并行文件系统失败的可能原因及解决办法。 现象一:挂载并行文件系统时出现“The specified bucket does not exist”类似错误 问题定位: 待挂载并行文件系统不存在。 解决办法:
管理桶访问权限 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 桶访问权限(ACL)可以通过三种方式设置: 创建桶时指定预定义访问策略。 调用ObsClient->setBucketAcl指定预定义访问策略。
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
分段相关接口概述(Harmony SDK) 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤:
对象标签 标签规则 OBS支持使用对象标签对桶中的对象进行分类,您可以在上传对象时添加标签,也可以为已有对象添加标签。 对象标签使用一组键值对(Key-Value)标记对象,规则如下: 每个对象最多能设置10个标签。 Key最大长度为36个字符,不能包含=*<>\,|/,且首尾字
通过obsutil命令行工具快速使用OBS obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使
设置桶归档对象直读策略 功能介绍 归档对象直读是指用户可以不用恢复归档对象,便能直接对其进行操作。 默认情况下,桶没有开启归档对象直读功能。 本接口主要用来开启或关闭桶的归档对象直读功能。 设置桶的归档对象直读状态为Enabled,开启桶的归档对象直读功能: 桶内存在归档对象时,
obsutil简介 obsutil是一款用于访问管理华为云对象存储服务(Object Storage Service,OBS)的命令行工具,您可以使用该工具对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户,
OBS自定义策略 如果系统预置的OBS权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考桶相关授权项和对象相关授权项。 目前支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操
请求费用 通过控制台、工具、API、SDK等任意方式对OBS进行操作,实际上都是对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取。 请求类别 OBS的请求主要分为四大类: 读操作(GET类请求):GET/HEAD
obsutil性能调优最佳实践 obsutil对大于50MB的文件/对象默认采用分段方式进行上传、下载和复制,与分段任务相关的参数在.obsutilconfig配置文件中,如表1所示。 表1 多段参数 参数 描述 defaultBigfileThreshold 开启分段任务的阈值
列举桶 您可以通过列举桶查看已创建的桶列表。 注意事项 列举桶请求默认发生在华北-北京一,所以在统计请求费用时,ListAllMyBucketsOperation请求的费用会被划归到华北-北京一区域。 使用方式 OBS支持通过控制台、API、SDK、OBS Browser+、obsutil方式列举桶。
并发一致性说明 当客户端发起的写/删除请求返回成功之后,客户端可以获取到最新数据。当写操作客户端等待超时、服务端返回500或者503的HTTP响应错误码时,之后的读取操作有可能成功读取到数据,也有可能读不到数据。建议客户端在出现上述错误时,查询数据是否已经上传成功,如果不成功则重新上传。
清理碎片 使用场景 桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 上传失败而产生的
静态网站托管简介(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 您可以将静态网站文件上传至OBS的桶中作为对象,并对这些对象赋予公共读权限,然后将该桶配置成静态网站托管模式,以实现在OBS上托管静态
下载示例 本章节案例中的所有命令均以Linux操作系统为例,提供下载操作指导。 假设bucket-test桶内包含如下对象: obs://bucket-test/test1.txt obs://bucket-test/test2.txt obs://bucket-test/test3
下载对象-范围下载(Python SDK) 功能说明 如果只需要下载对象的其中一部分数据,可以使用范围下载,下载指定范围的数据。如果指定的下载范围是0~1000,则返回第0到第1000个字节的数据,包括第1000个,共1001字节的数据,即[0, 1000]。如果指定的范围无效,则返回整个对象的数据。
服务端加密SSE-OBS方式 功能介绍 SSE-OBS方式,OBS使用服务自身提供的密钥进行服务端加密。与SSE-KMS的区别在于SSE-OBS是OBS管理密钥,而非KMS。 新增头域 SSE-OBS方式用户可以通过配置表1中的头域来实现SSE-OBS加密。 您也可以通过配置桶的
删除桶失败 问题描述 无法删除已创建的OBS桶。 排查思路 以下排查思路根据原因的出现概率进行排序,建议您从高频率原因往低频率原因排查,从而帮助您快速找到问题根因。 如果处理完某个可能原因仍未解决问题,请继续排查其他可能原因。 图1 删除桶失败排查思路 表1 排查思路 可能原因 处理措施
删除对象 功能说明 删除指定的对象。 按指定的对象名前缀批量删除对象。 删除对象后无法恢复,请谨慎使用。 使用建议 对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败,建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop