检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
obs://bucket-dest/src1/test3.txt 基于以上对象格式,不同场景下同步复制的命令示例如下: 同步bucket-src桶中src1文件夹下的文件和文件夹至bucket-dest桶的src1文件夹中,同步复制命令如下: ./obsutil sync obs://bucket-src/src1
增量同步复制对象 功能说明 将源桶指定路径下的所有对象同步到目标桶指定路径,使两边内容保持一致。这里的增量同步有两层含义:1)增量,依次比较源对象和目标对象,只复制存在变化的源对象;2)同步,命令执行完成后,保证源桶指定路径是目标桶指定路径的子集,即源桶指定路径下的所有对象均能在目标桶中找到对应对象。
增量同步下载对象 功能说明 将OBS源桶指定路径下的所有对象同步到本地目标路径,使两边内容保持一致。这里的增量同步有两层含义:1)增量,依次比较源对象和目标文件,只下载存在变化的源对象;2)同步,命令执行完成后,保证OBS指定源桶指定路径是本地目标路径的子集,即OBS源桶指定路径
obs://bucket-test/src1/src3/ 基于以上本地文件夹和桶内对象的格式,不同场景下同步上传的示例如下: 同步本地src1文件夹下的test3.txt文件至bucket-test桶的根目录,同步命令如下: ./obsutil sync /src1/test3.txt obs://bucket-test
基于以上桶内对象和本地文件夹的格式,不同场景下同步下载的示例如下: 同步bucket-test的src1文件夹中的所有文件和文件夹至本地已存在的src1文件夹中,同步命令如下: ./obsutil sync obs://bucket-test/src1 /src1 同步下载成功后,本地src1文件夹中生成的内容如下:
更多运行示例,请参见同步上传示例。 参数说明 参数 约束 描述 file_url 同步上传文件时必选 本地文件路径。 folder_url 同步上传文件夹时必选 本地文件夹路径。 bucket 必选 桶名。 key 可选 同步上传文件时的对象名/对象名前缀,或同步上传文件夹时的对象名前缀。
是否支持同步删除文件 不支持。 当前obsutil工具支持同步上传本地目录到OBS桶中,同步成功后,如果用户删除了本地目录下的部分文件,再次进行增量同步上传时,工具将只会检查本地存在的文件是否需要增量进行上传,无法感知已删除文件是否需要在目标桶内进行删除。 需要注意的是,如果在上
对象存储服务-成长地图 | 华为云 对象存储服务 对象存储服务(Object Storage Service,OBS)提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。 图说OBS 权限控制图解
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS PHP SDK的桶相关接口和对象相关接口均支持以“Async”结尾的方式进行异步调用(例如,同步方法为ObsClient->putObject,则异步
s除外);对于对象操作接口,请求数组中固定包含Bucket和Key分别用于指定桶名与对象名。OBS客户端提供同步调用和异步调用两种方式,具体示例如下: 同步调用方式 同步调用方式下如果抛出异常,表明操作失败;反之,则表明操作成功。 示例代码如下: // 引入依赖库 require
删除对象操作会同步复制到跨区域复制的桶中吗? 如果您通过OBS控制台设置跨区域复制规则,那么源桶的删除对象操作默认不会同步复制到目标桶中。 如果您通过API设置跨区域复制规则,那么源桶的删除对象操作是否会同步复制到目标桶中取决于DeleteData参数的设置: DeleteDat
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
服务韧性 OBS提供五级可靠性架构,通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案,保障数据的持久性和可用性。 OBS的数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。 图1 五级可靠性架构保证数据稳定,业务可靠
DataX是一个数据同步框架,实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。
跨区域复制 创建跨区域复制规则后,为什么对象没有复制到目标桶中? 删除对象操作会同步复制到跨区域复制的桶中吗?
对象相关授权项 表1 对象相关授权项列表 权限 对应API接口 授权项(Action) IAM项目(Project) 企业项目(Enterprise Project) 可用作于PUT上传对象,POST上传对象,追加写对象,初始化上传段任务,上传段,拷贝段,合并段 PUT上传 POST上传
常见示例 上传示例 同步上传示例 下载示例 同步下载示例 复制示例 同步复制示例 列举示例 列举分段上传任务示例 删除桶内全部分段上传任务
分段上传(Java SDK) 分段上传概述(Java SDK) 初始化分段上传任务(Java SDK) 上传段(Java SDK) 合并段(Java SDK) 分段上传场景化示例(Java SDK) 取消分段上传任务(Java SDK) 列举已上传的段(Java SDK) 列举分段上传任务(Java
计费模式 计费模式概述 按需计费 包年包月(资源包)
算资源、存储资源以及服务器数量都会有明显下降,同时资源利用率也能得到显著提升,可帮助企业降低业务综合成本。 文档使用范围 本最佳实践主要提供华为云大数据存算分离方案中不同大数据平台和大数据组件与对象存储服务OBS的对接指导,以及HDFS数据迁移至对象存储服务OBS的方案。 父主题: