检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
authorization 终端节点(Endpoint)不会限制查询结果,无论哪一个区域的Endpoint,查询结果都是所有区域的桶列表。 创桶期间不要并发列举桶 请求消息参数 该请求消息中不带请求参数。 请求消息头 该操作消息头与普通请求一样,请参见表3,但可以带附加消息头,附加请求消息头如下所示。
Server,ECS)构建好基础的业务后,随着数据增长,硬盘已无法满足大量的图片、视频等数据存取需求。了解到华为云提供有海量、弹性的云存储服务OBS后,决定将OBS作为数据存储资源池,以减轻服务器负担。 在ECS上可以通过公网和华为云内网两种网络访问OBS。当有存取对象数据的需求时,公网方式响应速度
设置对象元数据(Java SDK) 功能说明 您可以在上传对象时设置对象元数据。对象元数据包含对象长度、对象MIME类型、对象MD5值(用于校验)、对象存储类别、对象自定义元数据。对象元数据可以在多种上传方式下(流式上传、文件上传、分段上传),或复制对象时进行设置。 开发过程中,
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
通过此操作可以获取到图片的基本信息:长、宽、以及文件的大小和格式。如果图片包含Exif信息,将按照json格式返回完整的Exif信息。 操作名称:info 示例 查询example.jpg信息。 https://e-share.obs.cn-north-1.myhuaweicloud.com/example
查看桶的基本信息 可以通过OBS Browser+查看桶的基本信息,如桶类型、账户ID、区域和存储用量等。 操作步骤 登录OBS Browser+。 选中待查看的桶,右键单击选中“基本信息”。 在弹出的“基本信息”界面中查看桶的基本信息,如图1所示。 图1 桶的基本信息 表1 参数说明
即可把数据从第三方云厂商轻松、平滑地迁移至OBS。 大数据场景下使用OBS实现存算分离 本最佳实践主要提供华为云大数据存算分离方案中不同大数据平台和大数据组件与对象存储服务OBS的对接指导,以及HDFS数据迁移至对象存储服务OBS的方案。 数据备份 使用备份软件实现本地数据备份至OBS
为什么OBS存储的数据丢失了? 如果您的OBS中存储的数据丢失了,请按照以下原因排查: 请检查桶中是否设置了生命周期过期删除规则,符合规则的对象会被删除。 请检查桶是否授权了其他用户桶的写权限,被授权的用户都可以删除对象。如果您开启了日志记录功能,可以通过日志记录查询到删除对象的用户。
查看资源包详情 如果您已购买资源包,您可以在OBS管理控制台上查看已购买资源包的使用详情。 查看方法 在OBS管理控制台左侧导航栏选择“资源包管理”。 选择所要查看的资源包所属区域和类型,查看对应资源包的详细信息。 包括资源包规格、所属区域、状态、剩余容量、起止时间、订单号和使用明细。
CDN加速功能将存储在OBS中的数据缓存到终端用户附近的CDN节点上,让身处各地的终端用户都可以快速访问存储在OBS中的数据。当用户需要更新OBS中存储的数据时,CDN中缓存的过时数据也需要进行更新,可以使用CDN自动刷新功能来自动通知CDN去更新数据。因此,通过配置自动刷新策略,
指定用户的securitytoken。 相关操作 导出桶列表 在OBS管理控制台左侧导航栏选择“桶列表”。 全部导出:单击桶列表左上方的“导出”按钮。 图9 全部导出 选择导出:勾选需要导出的桶,单击列表左上方的“导出”按钮。 图10 选择导出 浏览器会自动下载桶列表Excel,其中包含本账号下所有桶的如下信息:
利用obsutil帮助命令查找工具功能 obsutil提供了帮助命令(help命令)用于查看各命令的帮助文档。以查询创建桶命令的帮助文档为例,详细的步骤如下: 使用obsutil help命令查看当前支持的所有命令列表。 根据命令列表中的文档说明,找到需要查看的命令缩写,例如创建桶命令缩写为mb。
父节点:InventoryConfiguration 有效值:All、Current 是 OptionalFields 在此选项中可以添加一些额外的对象元数据字段,生成的清单文件中会包含OptionalFields中配置的字段。 类型:Container 父节点:InventoryConfiguration
列举分段上传任务 功能说明 查询桶内分段上传任务。 命令结构 Windows操作系统 obsutil ls obs://bucket[/prefix] [-s] [-d] -m [-a] [-uploadIdMarker=xxx] [-marker=xxx] [-limit=1]
一个月多次)或小对象(<1MB),且需要频繁访问数据的业务场景。 warm:低频访问存储,适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 cold:归档存储,适用于很少访问(平均一年访问一次)数据的业务场景。 ETag 对象的ETag值。对象的
象的总的大小,如果通过列举操作返回的对象大小与通过控制台、OBSBrowser+工具查询的桶使用情况不一致时可以从如下两点进行排查: OBSBrowser+和控制台均通过调用获取桶存量信息接口查询当前桶内对象个数及对象占用空间,对应obsutil中调用stat命令返回的结果;由于
列举桶中已初始化多段任务 功能介绍 用户可以通过本接口查询一个桶中所有的初始化后还未合并以及未取消的多段上传任务,了解完整的分段上传流程请参见分段上传。 请求消息样式 GET /?uploads&max-uploads=max HTTP/1.1 Host: bucketname
参数说明 参数 约束 描述 s 附加参数,可选 以精简格式显示查询结果。 说明: 在精简格式下,返回结果只包含桶名。 sc 附加参数,可选 查询桶列表时同时查询桶的存储类型。 j 附加参数,可选,必须与sc参数搭配使用才有意义 查询桶存储类型时的最大并发数,默认为配置文件中的defaultJobs。
EN)查找访问密钥,如果访问密钥不为空,结束查找,否则继续下一步查找。 从当前使用obsutil的ECS查找临时访问密钥,如果临时访问密钥不为空,结束查找,否则使用匿名用户访问OBS服务。 访问密钥不为空是指至少ak和sk同时不为空,token可为空。 从系统环境变量查找访问密钥
计等。 总览页在查询数据时,可能会出现多个数据不一致的情况,具体说明如下所示。 数据不一致的情况说明 标准存储量+低频访问存储量+归档存储量不等于总存储量,可能的原因有: 数据来源不一致:总存储量数据来源于OBS实时数据,标准存储量、低频访问存储量、归档存储量数据均来源于云监控CES(OBS上报至CES的数据)。