检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
碎片管理 背景信息 对象存储服务采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。
值。 如果进行的是批量操作,目标对象大小可以取待操作对象的平均值。 执行批量任务时,针对常见的网络问题如timeout、EOF等,建议通过增量操作(cp命令中的-u参数)进行重试;同时也可以根据失败的批量任务最终输出的taskID信息,通过恢复失败任务(cp命令中的-recover参数)实现对失败任务的重试;
includes in Framework Modules”设置成“Yes”。 在需要用到OBS服务的头文件中导入OBS软件包。 #import <OBS/OBS.h> 运行Command+B命令确认OBS.framework编译通过。 常见问题 Mac OSX工程配置 下载OBS iOS
包,赠送的请求次数也会叠加。如果您的包月资源包进行了升配,赠送的请求次数也会进行升级,剩余请求次数=升配后的请求次数-原来已使用的请求次数。 除了服务端返回的状态码为5XX或403错误的请求外,其余的请求均会计入请求次数。 举例 示例一 以上传对象为例,对一个对象或者段的每一次操
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
户端跨区域复制的相关配置信息,具体可参考更新配置文件。 复制时源桶对应的配置信息为配置文件中的:akCrr/skCrr/tokenCrr/endpointCrr,目标桶对应的配置信息为配置文件中的:ak/sk/token/endpoint; 对于同一账号下不同区域的桶,也可以按照
obsutil是一款用于访问管理OBS的命令行工具,可以对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务的好的选择。 建议中小型企业的IT运维管理人员在备份、分享、管理数据时使用。命令行方式更高效,可以和脚本集成做简单自动化处理。
受影响的对象前缀,此规则只作用于符合前缀的对象。 最新版本对象的转换策略,指定方式为: 指定满足前缀的对象创建后第几天时转换为指定的存储类型。 直接指定满足前缀的对象转换为指定的存储类型的日期。 最新版本对象过期时间,指定方式为: 指定满足前缀的对象创建后第几天时过期。 直接指定满足前缀的对象过期日期。 历史版本对象转换策略,指定方式为:
SDK日志(记录工具调用OBS服务端接口期间产生的日志信息):配置sdkLogPath、sdkLogBackups、sdkLogLevel、sdkMaxLogSize; 详细的配置参数说明请参考配置参数说明。 utilLogPath和sdkLogPath是指日志文件的全路径,而非保存日志的文件夹。 如果未指定
快速入门(Java SDK) 本节介绍在完成SDK的下载和安装后,如何快速上手使用OBS的基础功能,完成创建桶、上传下载对象、列举对象和删除对象。 入门准备 使用SDK管理OBS资源,您需要先完成以下几项准备工作: 使用前须知(Java SDK):了解并选择合适的SDK版本。 使用前准备(Java
建议您开启桶日志,一段时间后分析日志中记录的请求IP等信息,如果请求IP固定且不需要该IP访问对象,可通过设置桶策略,拒绝请求来源的IP访问桶。具体请参见限制指定的IP地址访问桶。 设置防盗链(白名单或黑名单访问) 针对账单中请求量较大的时间点,查询该时间点对应的日志,过滤出请求来源的Referer字段信息,设置防盗链。
config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。 父主题:
对其他账号下的IAM用户授予桶和桶内资源的访问权限 场景介绍 本案例介绍如何为其他华为云账号下的IAM用户授予OBS桶和桶内资源的访问权限。 此处以授予上传和下载桶内对象的权限为例。如果需要配置其他指定的权限,在桶策略和给IAM用户授权中配置对应的权限即可。 推荐配置方法 对其他
</ListBucketCustomDomainsResult> 响应消息头 该请求的响应消息使用公共消息头,具体请参考表1。 响应消息元素 该响应以消息元素的形式返回桶的自定义域名,元素的具体意义如表1响应消息元素所示。 表1 响应消息元素 元素名称 描述 ListBucke
Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。
启用MD5进行数据一致性校验会影响上传下载性能。 表1 校验数据一致性的方式 方式 说明 操作指导 obsutil 命令行工具,可以通过简单的一行命令实现上传下载,并且在命令中选择是否采用MD5校验。 使用obsutil校验上传对象的一致性 使用obsutil校验下载对象的一致性 OBS Browser+ 图形
同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。 默认取值: 无 objectKey String 必选 参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs
obsutil在上传、下载和复制大文件时通过分段上传/下载/复制算法,可支持断点续传。您可根据具体的场景设置开启分段任务的阈值以实现上传/下载/复制任务失败或中断后的续传。您可通过两种方式指定开启分段任务的阈值: 方法一 指定配置文件中的配置参数:defaultBigfileThreshold,详情请参见配置参数说明。
必选 待导入的本地策略文件路径。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。
使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?