检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataX对接OBS 概述 DataX是一个数据同步框架,实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDF
了字典序,可能导致大量对象的请求访问集中于某个特定分区,造成访问热点。热点分区上的请求速率受限,访问时延上升。 为解决以上问题,您可以考虑减少单个批量删除请求的对象数量,增加并发请求数,并将对象名的顺序前缀改为随机性前缀。 父主题: 桶和对象相关
OBS按照对象名的UTF-8编码范围来进行分区管理,对系统进行水平扩展与动态负载均衡。如果用户在对象命名规则上使用了顺序前缀(如时间戳或字母顺序),可能导致大量对象的请求访问集中于某个特定分区,造成访问热点。热点分区上的请求速率受限,访问时延上升。 推荐使用随机前缀对象名,这样请求就会均匀分布在多个分区,达到水平扩展的效果。
S-<UniqueString> <TargetPrefix>为用户指定的目标前缀。 YYYY-mm-DD-HH-MM-SS为日志生成的日期与时间,各字段依次表示年、月、日、时、分、秒。 <UniqueString>为OBS自动生成的字符串。 一个实际用于存储OBS访问日志的object名称示例如下:
由于OBS桶存量是后台统计,因此存量会有一定的时延,不能实时更新,因此不建议对存量做实时校验。 OBS的桶容量API增加对各个存储类型的容量统计,目前仅支持部分区域,请以实际操作为准。 请求消息样式 1 2 3 4 GET /?storageinfo HTTP/1.1 Host:
obsClient.getObject(request); obsObject.getObjectContent().close(); 父主题: 服务端加密
上述方式仅支持设置以天为单位的对象过期时间,过期后的对象会被OBS服务端自动清理。 上述方式设置的对象过期时间,其优先级高于桶生命周期规则。 父主题: 上传对象
当删除对象时,如果没有days或expiredObjectDeleteMarker元素,则必选。 参数解释: 指定OBS对该日期之前的对象执行生命周期规则。日期格式必须为ISO8601的格式,并且为UTC的零点。 例如:2018-01-01T00:00:00.000Z,表示将最后修
SDK版本变更及兼容性说明 版本 变更类型 说明 是否兼容 v3.23.4(最新版本) 新功能 增加obs.WithCustomHeader方法,支持在与OBS云服务交互的用户端请求头域中,增加自定义header头域 新增支持桶自定义域名功能,包括SetBucketCustomDoma
对,用作对象管理的一部分。 当前仅支持系统定义的元数据。 系统定义的元数据又分为两种类别:系统控制和用户控制。如Last-Modified日期等数据由系统控制,不可修改;如为对象配置的ContentLanguage,用户可以通过接口进行修改。 对指定桶中的对象发送HEAD请求,设置对象的元数据信息。
3为例。 下载apache-hive-2.3.3-bin.tar.gz,并解压到/opt/hive-2.3.3。 在/etc/profile文件中增加配置内容: export HIVE_HOME=/opt/hive-2.3.3 export PATH=$HIVE_HOME/bin:$PATH
cp命令进行上传/下载时,可以通过增加“-u”参数开启增量功能。 该参数的含义为:上传/下载/复制每个对象时都会对比源路径和目标路径,仅在目标对象不存在,或者对象大小不一致,或者目标对象的最后修改时间早于源对象的最后修改时间时进行上传/下载/复制。 父主题: OBS Browser+和obsutil等工具相关
将WordPress远程附件存储到OBS 背景信息 WordPress是一个基于PHP语言和MySQL数据库开发的博客平台,并逐步演化成一款内容管理系统软件,具有广泛的应用场景。 本文介绍如何通过插件,将WordPress远程附件存储到华为云OBS。OBS提供海量、稳定、安全的云
类别一致。 增加上传:开启增量上传功能,上传同名对象时,对象会比较大小、内容、修改时间等对象属性,如果有变动,则上传覆盖桶内对象,如果一致,则跳过该上传任务不上传对象。关闭增量上传功能时,对象不做对比,强制上传覆盖桶内对象。 单击“确定”,上传文件或文件夹。 父主题: 入门
已获取访问密钥(AK和SK),具体操作请参见资源准备。 操作步骤 打开命令行终端。 执行以下命令,生成挂载所需的密钥文件。 对于2023年2月25日之后(不含该日期)的官网软件包,执行以下命令,将访问密钥加密后写入密钥文件“/etc/passwd-obsfs”。 obsfs --password_encryption
指定满足前缀的对象创建后第几天时转换为指定的存储类别。 直接指定满足前缀的对象转换为指定的存储类别的日期。 最新版本对象过期时间,指定方式为: 指定满足前缀的对象创建后第几天时过期。 直接指定满足前缀的对象过期日期。 历史版本对象转换策略,指定方式为: 指定满足前缀的对象成为历史版本后第几天时转换为指定的存储类别。
SS-<UniqueString> <日志文件前缀>为用户指定的日志文件日志存储前缀。 YYYY-mm-DD-HH-MM-SS为日志生成的日期与时间,各字段依次表示年、月、日、时、分、秒。 <UniqueString>为OBS自动生成的字符串。 在管理控制台上,如果配置的目标前缀
在“生命周期管理”对话框中单击“确认”,保存当前的生命周期规则。 相关操作 后续可根据需求对已配置的规则进行编辑、删除、启动和禁用。 父主题: 生命周期管理
ErrorCode); Console.WriteLine("ErrorMessage: {0}", ex.ErrorMessage); } 父主题: 生命周期管理
OBS允许您对桶设置访问日志记录,设置之后对于桶的访问会被记录成日志,日志存储在OBS上您指定的目标桶中。 更多关于访问日志的内容请参考日志记录。 父主题: 设置访问日志(Java SDK)