检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop
应用示例三:由高级桶策略授权挂载桶的读写权限 通过高级桶策略可以授权挂载桶的读写权限。 高级桶策略授权权限时,必须开通的权限为HeadBucket、ListBucket、GetObject和GetObjectVersion,其他权限可根据需求开通。 操作步骤 登录OBS管理控制台。
是否支持统计文件夹内的文件数目及大小 OBS Browser+不支持统计文件夹内的文件数目及大小,可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du
初始化OBS客户端(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 向OBS发送任一HTTP/HTTPS请求之前,必须先创建一个ObsClient实例: // 引入obs库 // 使用npm安装 const
设置桶多版本状态(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS支持多版本控制,您可以在一个桶中保留对象的多个版本,使您更方便地检索和还原各个版本,在意外操作或应用程序故障时快速恢复数据
查看桶多版本状态(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS支持多版本控制,您可以在一个桶中保留对象的多个版本,使您更方便地检索和还原各个版本,在意外操作或应用程序故障时快速恢复数据
取消分段上传任务(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 通过分段上传任务的ID,取消指定分段上传任务。 您可以选择取消多段上传任务,取消多段上传任务之后无法再次使用该上传ID上传任何段
分段上传-列举已上传的段(Python SDK) 功能说明 通过分段上传任务的ID,列举指定桶中已上传的段。 您可以列出特定多段上传任务或所有正在进行的多段上传任务的分段。列举已上传的段操作将返回您已为特定多段上传任务而上传的段信息。对于每个列举已上传的段请求,OBS将返回有关特定多段上传任务的分段信息
分段上传-列举分段上传任务(Python SDK) 功能说明 列举指定桶中所有的初始化后还未合并或还未取消的分段上传任务。 通过列举桶中的多段上传任务,您可以获得已初始化多段上传任务的列表,已初始化多段上传任务是指初始化后还未合并以及未取消的多段上传任务。每个请求将返回最多1000
取消分段上传任务(Java SDK) 功能说明 通过分段上传任务的ID,取消指定桶中的分段上传任务。 您可以选择取消多段上传任务,取消多段上传任务之后无法再次使用该上传ID上传任何段。然后,OBS将释放被取消的多段上传任务中的每个段数据的所有存储。如果有多段上传已在进行中,即使您已执行中止操作
Presto对接OBS 概述 Presto分为prestoSql(现更名为Trino)和PrestoDB两大分支或是发行版。 Presto on OBS仅支持prestoSql/Trino发行版,下述对接步骤以prestoSql-333版本为例(从prestoSql-332版本开始
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中,具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash,例如≥7.10.2的版本,避免使用较老版本的logstash
使用OBS Browser上传下载文件卡死 问题 使用OBS Browser上传下载大文件,上传下载一段时间后提示“max call stack size exceeded”。 使用OBS Browser上传文件夹,其中某个文件在上传完成后,操作系统返回IO状态异常,上传进度一直显示
使用临时URL进行授权访问(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 通过访问密钥、请求方法类型、请求参数等信息生成一个在Query参数中携带鉴权信息的URL,可将该URL提供给其他用户进行临时访问
多段相关接口说明(Node.js SDK) 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3
后台工程师能否导出我存储在OBS中的数据? 后台工程师无法导出用户数据。 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥有者才能够访问,访问时需要提供访问密钥(AK/SK)。 父主题: 数据安全、迁移和备份
为什么用户在华为云购买的域名才支持一键解析? 当用户在华为云购买自定义域名,可以在目标桶内进行域名绑定,完成一键解析添加CNAME记录。 当用户在其他域名服务商购买域名时,由于华为云无法感知该域名是否可以解析到目标桶域名,因此需要用户自行配置解析规则,具体配置方法请参见配置CNAME
并行文件系统挂载后,为何显示256T? 问题背景: 当您在客户端上执行“df -h”时,为了显示需要,系统则直接返回了256TB。 解释说明: 该数值实际上无任何意义,您可以使用的并行文件系统容量无限制。 父主题: 并行文件系统
配置生命周期管理策略 您可以为某个桶定义生命周期管理规则,来为该桶的对象定义各种生命周期规则。 操作步骤 登录OBS Browser+。 选中待配置的桶,单击“更多 > 生命周期规则”,如图1所示。 图1 生命周期规则 在“生命周期规则”窗口中单击“创建”,如图2所示。 图2 创建生命周期规则
列举桶列表(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS桶是对象的容器,您上传的文件都存放在桶中。调用获取桶列表接口,可列举当前账号所有区域下符合指定条件的桶。返回结果以桶名的字典序排序