检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
通过OBS SDK快速使用OBS OBS SDK对OBS服务提供的REST API进行封装,以简化用户的开发工作。您直接调用OBS SDK提供的接口函数即可使用OBS管理数据。 本章节以Java、Python、Go三种SDK为例,帮助您快速上手OBS的基础功能,包括创建桶、上传对象、下载对象、列举对象。
断点续传下载 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 当下载大对象到本地文件时,经常出现因网络不稳定或程序崩溃导致下载失败的情况。失败后再次重新下载不仅浪费资源,而且当网络不稳定时仍然有下载失败的风险。断点续传下载接口
使用账号登录时,界面提示“没有权限登录” 在使用OBS Browser+过程中,如果使用账号登录时提示“没有权限登录”,原因是统一身份认证服务平台认证失败。 可按照以下步骤排查解决问题: 联系当前租户的安全管理员,登录统一身份认证服务控制台。 查看当前AK所属用户是否被禁用。 查
断点续传下载 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 当下载大对象到本地文件时,经常出现因网络不稳定或程序崩溃导致下载失败的情况。失败后再次重新下载不仅浪费资源,而且当网
自动续费 自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致资源被自动删除。自动续费的规则如下所述: 以资源包的到期日计算第一次自动续费日期和计费周期。 资源包自动续费周期以您选择的续费时长为准。例如,您选择了3个月,资源包即在每次到期前自动续费3个月。 在资源包到期前
依赖缺失和依赖冲突的解决(Java SDK) 依赖缺失和依赖冲突是 Java 开发中的常见问题,在集成 SDK 的过程中也会遇到,在应用编译和运行时报错 ClassNotFoundException 与 NoClassDefFoundError 时可怀疑是否是依赖问题而导致,针对不同情况参照下述步骤进行排查和解决。
列举多版本对象 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.listVersions列举多版本对象。 该接口可设置的参数如下: 参数 作用 Prefix
追加上传 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 追加上传可实现对同一个对象追加数据内容的功能。您可以通过ObsClient.appendObject进行追加上传。示例代码如下:
SDK公共响应头 调用ObsClient类的相关接口成功后,均会返回公共响应头类,即HeaderResponse类实例(或其子类实例),该类包含了HTTP/HTTPS的响应头信息。 处理公共响应头的示例代码如下: // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风
登录OBS Browser+ 您可以登录OBS Browser+访问华为云OBS云服务,完成桶和对象的相关操作。您也可以通过登录OBS Browser+访问与OBS兼容的其他对象存储服务。 具体登录方式请参见表1。 表1 登录方式 分类 方式 场景 华为云对象存储服务 永久AK方式登录
初始化OBS客户端 向OBS发送任一HTTP/HTTPS请求之前,必须先创建一个OBSClient实例: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环
加密示例 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 上传对象加密 以下代码展示了在上传对象时使用服务端加密功能: // 引入依赖库 require 'vendor/autoload
多版本对象权限 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 设置多版本对象访问权限 您可以通过set_object_acl接口传入版本号(version_id)设置多版本对象的访问权限,示例代码如下: static void
添加桶 桶是OBS中存储对象的容器。您需要先创建一个桶,然后才能在OBS中存储数据。 一个账号及账号下的所有IAM用户可创建的桶+并行文件系统的上限为100个。建议结合OBS细粒度权限控制能力,合理进行桶规划和使用。例如,建议在桶内根据对象前缀划分不同的目录,通过细粒度权限控制实
SDK公共响应头(Java SDK) 调用ObsClient类的相关接口成功后,均会返回公共响应头类: 即HeaderResponse类实例(或其子类实例),该类包含了HTTP/HTTPS的响应头信息。 处理公共响应头的示例代码如下: 1 2 3 4 5 6 7 8
恢复失败的复制任务 功能说明 根据任务号(TaskId)恢复失败的复制任务。 命令结构 Windows操作系统 obsutil cp -recover=xxx [-dryRun] [-f] [-u] [-crr] [-vlength] [-vmd5] [-j=1] [-p=1]
恢复归档存储对象 功能说明 恢复指定的存储类型为cold的对象或按指定的对象名前缀批量恢复存储类型为cold的对象。 恢复过程中无法读取对象内容。 恢复存储对象后,其实际转换为可下载状态的完成时间依赖于OBS服务端。 当前obsutil暂不支持查询恢复状态,您可以通过OBSBro
日志分析(Java SDK) 日志开启方式 将OBS SDK包中的log4j2.xml文件放到classpath根目录; 或者调用Log4j2Configurator.setLogConfig直接指定log4j2.xml文件的路径。 您可以从OBS Java SDK的发布软件包中获取默认的日志配置文件log4j2
概述 OBS Browser支持通过桶策略、对象策略、桶ACL和对象ACL进行权限控制。 桶策略:桶策略是作用于所配置的OBS桶及桶内对象的。OBS桶拥有者通过桶策略可为IAM用户或其他账号授权桶及桶内对象的操作权限。 对象策略:主账号将对象的读写权限授权给该账号下的IAM用户。