检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
预置模板参数说明 Data+已下线,如果需要使用数据处理服务,可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 本小节提供Data+各类函数模板及自定义函数的参数配置说明。 当前支持的函数模板如下: 不同区域支持的预置模板数量不同,请以控制台实际支持的模板为准。 表1 Data+函数模板
恢复失败的下载任务 功能说明 根据任务号(TaskId)恢复失败的下载任务。 命令结构 Windows操作系统 obsutil cp -recover=xxx [-dryRun] [-tempFileDir=xxx] [-f] [-u] [-vlength] [-vmd5] [-j=1]
快速入门(Harmony SDK) OBS SDK对OBS服务提供的REST API进行封装,以简化用户的开发工作。您直接调用OBS SDK提供的接口函数即可使用OBS管理数据。 本章节介绍了OBS Harmony SDK的快速入门,帮助您快速上手OBS的基础功能,包括创建桶、上传对象、下载对象、列举对象。
企业项目 / 标签。 选择后您仍可以根据业务情况对复制的配置信息进行部分或全部更改。 区域 桶所属区域。请选择靠近您业务的区域,以降低网络时延,提高访问速度。桶创建成功后,不支持变更区域,请谨慎选择。 OBS大部分特性在所有区域发布,某些特性仅在部分区域发布。建议根据特性的发布区域选择
企业项目 / 标签。 选择后您仍可以根据业务情况对复制的配置信息进行部分或全部更改。 区域 桶所属区域。请选择靠近您业务的区域,以降低网络时延,提高访问速度。桶创建成功后,不支持变更区域,请谨慎选择。 OBS大部分特性在所有区域发布,某些特性仅在部分区域发布。建议根据特性的发布区域选择
回错误信息提醒用户再次调用接口进行重新上传(重新上传时因为有checkpoint文件记录当前的上传进度,避免重新上传所有分段,从而节省资源提高效率)。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是桶拥有者
获取对象标签 功能介绍 用户可以通过本接口获取对象(Object)的标签信息。 如果请求中不携带版本号(versionId),需要确保执行者有GetObjectTagging权限。如果请求中携带版本号(versionId),需要确保执行者有GetObjectTagging+Get
企业项目 / 标签。 选择后您仍可以根据业务情况对复制的配置信息进行部分或全部更改。 区域 桶所属区域。请选择靠近您业务的区域,以降低网络时延,提高访问速度。桶创建成功后,不支持变更区域,请谨慎选择。 OBS大部分特性在所有区域发布,某些特性仅在部分区域发布。建议根据特性的发布区域选择
举子目录。在大数据场景下(目录层级深、目录下文件多)的列举,建议设置[delimiter="/"],只列举当前目录下的内容,不列举子目录,提高列举效率。 ListObjectsRequest.setDelimiter 简单列举 以下代码展示如何简单列举对象,最多返回1000个对象:
企业项目 / 标签。 选择后您仍可以根据业务情况对复制的配置信息进行部分或全部更改。 区域 桶所属区域。请选择靠近您业务的区域,以降低网络时延,提高访问速度。桶创建成功后,不支持变更区域,请谨慎选择。 OBS大部分特性在所有区域发布,某些特性仅在部分区域发布。建议根据特性的发布区域选择
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
依赖缺失和依赖冲突的解决(Java SDK) 依赖缺失和依赖冲突是 Java 开发中的常见问题,在集成 SDK 的过程中也会遇到,在应用编译和运行时报错 ClassNotFoundException 与 NoClassDefFoundError 时可怀疑是否是依赖问题而导致,针对不同情况参照下述步骤进行排查和解决。
恢复失败的上传任务 功能说明 根据任务号(TaskId)恢复失败的上传任务。 命令结构 Windows操作系统 obsutil cp -recover=xxx [-arcDir=xxx] [-dryRun] [-f] [-u] [-vlength] [-vmd5] [-j=1] [-p=1]
增量同步下载对象 功能说明 将OBS源桶指定路径下的所有对象同步到本地目标路径,使两边内容保持一致。这里的增量同步有两层含义:1)增量,依次比较源对象和目标文件,只下载存在变化的源对象;2)同步,命令执行完成后,保证OBS指定源桶指定路径是本地目标路径的子集,即OBS源桶指定路径
设置对象属性 功能说明 设置对象的属性或按对象名前缀批量设置对象的属性。 只有3.0版本的桶支持设置对象存储类型。 命令结构 Windows操作系统 设置单个对象属性 obsutil chattri obs://bucket/key [-meta=aaa:bbb#ccc:ddd]
恢复失败的复制任务 功能说明 根据任务号(TaskId)恢复失败的复制任务。 命令结构 Windows操作系统 obsutil cp -recover=xxx [-dryRun] [-f] [-u] [-crr] [-vlength] [-vmd5] [-j=1] [-p=1]
使用DIS发送OBS事件通知 本节介绍如何在OBS控制台配置DIS通知。 您可以新建DIS通知规则,也可以从同区域的其他桶复制已有DIS通知规则。 背景知识 OBS提供的DIS通知功能,主要面向大数据场景,要求OBS与数据接入服务(DIS)及其他大数据相关服务结合使用。 仅支持华
通过obsutil命令行工具快速使用OBS obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使
产品概述 OBS Browser已于2020年4月15日下线,相关功能已集成到新版客户端工具OBS Browser+中,请获取最新的OBS Browser+工具。给您带来不便敬请谅解。 OBS Browser是一款运行在Windows和Mac系统上的对象存储服务客户端,方便您在个人电脑上完成对象存储管理。
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。