检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
命令限制 命令长度不超过512个字符,操作命令总数不超过20个。 区域限制 当前仅部分区域支持图片处理特性,支持的区域详情请在功能总览搜索“图片处理”查看。 父主题: 图片处理
#import <OBS/OBS.h> 运行Command+B命令确认OBS.framework编译通过。 父主题: 快速入门
说明: 快速失败机制的目的是进行批量任务时,避免产生过多的流量,如果希望尽早启动快速失败,可将该值配置为0或-1,表示一旦遇到4XX错误则立即进入快速失败流程。
使用命令行工具obsutil 命令结构: Windows操作系统 obsutil rm obs://bucket [-f] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 .
收集日志文件 您可通过如下两种方式收集日志: 方式一:使用辅助命令归档日志文件; 方式二:从配置文件中,找到utilLogPath和sdkLogPath指定的路径,在本地文件系统中寻找对应路径下面的日志文件; 父主题: 问题定位
o 附加参数,可选 生成结果清单文件的文件夹,命令执行完成后,会在该文件夹下生成结果清单文件(包含成功结果和失败结果两个文件),默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。
桶是OBS中存储对象的容器。您需要先创建一个桶,然后才能在OBS中存储数据。 华为云OBS控制台支持在创建桶时选择源桶,同步桶配置。
您可以通过命令行和MR程序两种方式进行验证。
OBS Browser+和obsutil等工具相关 使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制?
须知: 由于该参数值必定含有<和>,作为命令运行时,必须使用引号转义(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。
默认 OBSServiceConfiguration.maxConcurrentCommandRequestCount 允许的最大的命令请求并发数,默认为3。
增加Hive对接OBS的jar包 执行以下命令,在Hive Server节点创建auxlib文件夹。 mkdir /usr/hdp/3.0.1.0-187/hive/auxlib 执行以下命令,将OBSA-HDFS工具的jar包放到auxlib文件夹。
启动flume agent。
在CDH集群各节点执行以下命令,命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。
需要注意的是,如果在上传过程中,本地目录中的文件有新增则无法保证工具最终上传的对象数目和本地目录内文件数目的一致性;如果希望同步这部分新增文件可以在上传完成后重新执行增量上传命令。 父主题: 常见问题
需要注意的是,rateLimitThreshold参数指定的是obsutil任务的全局限速,这意味着当使用cp、sync等命令进行批量文件的上传/下载时,最终的实际上传/下载速度上限仍然为rateLimitThreshold指定的阈值而不是批量任务的并发任务数*rateLimitThreshold
started_at String 工作流实例启动时间。 execution_type String 工作流执行方式。 stopped_at String 工作流停止时间。 execution_state String 工作流运行状态。
ls、stat等linux命令需要远程访问OBS服务器,所以性能较差。 一个并行文件系统支持挂载到多台云服务器,但数据一致性需由您自行维护,避免出现多台云服务器同时对一个文件并发写入的情况。
图片处理参数当前仅支持命令方式,即image/commands格式。 图片处理参数支持级联处理,可对图片文件依次实施多条命令。 父主题: 下载对象
表1 校验数据一致性的方式 方式 说明 操作指导 obsutil 命令行工具,可以通过简单的一行命令实现上传下载,并且在命令中选择是否采用MD5校验。