检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以选择取消多段上传任务,取消多段上传任务之后无法再次使用该上传ID上传任何段。然后,OBS将释放被取消的多段上传任务中的每个段数据的所有存储。如果任何多段上传已在进行中,即使您已执行中止操作,它们仍可以上传成功或失败。如果要释放所有分段使用的所有存储,必须在完成所有多段上传后再取消多段上传任务。 (可选)列举段
obsutil是一款用于访问管理OBS的命令行工具,可以对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务的好的选择。 建议中小型企业的IT运维管理人员在备份、分享、管理数据时使用。命令行方式更高效,可以和脚本集成做简单自动化处理。
写失败或日志内容丢失的问题,请在运行命令时加上-config参数为每个进程配置独立的配置文件。同时确保utilLogPath和sdkLogPath对每个进程均配置为不同的路径。 收集日志文件 您可通过如下两种方式收集日志: 方式一:使用辅助命令归档日志文件; 方式二:从配置文件中
选中待删除的桶,单击“删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。 单击确认框中的“是”后,删除该桶。 使用命令行工具obsutil 命令结构: Windows操作系统 obsutil rm obs://bucket [-f] [-config=xxx] [-e=xxx]
置信息为配置文件中的:ak/sk/token/endpoint。 须知: 开启跨区域复制后,因为会占用执行命令主机上传和下载的双向带宽、CPU和内存等资源,可能会影响执行命令主机的性能。 vlength 附加参数,可选 复制完成后,验证目标桶对象大小是否与源桶中对象的大小一致。 说明:
BigfileThreshold,详情请参见配置参数说明。 方法二 在运行上传、下载、复制、增量同步上传、增量同步下载、增量同步复制时指定命令级参数:threshold。 例如:obsutil cp d:\temp\test.txt obs://bucket-test/key -threshold=52428800
使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?
当用户新创建一个桶时,如果不指定相应的ACL权限,OBS Browser+自动将该桶设置为仅允许桶的所有者访问,其他任何人无法访问该桶及桶内的对象。 使用命令行工具obsutil 命令结构: Windows操作系统 obsutil chattri obs://bucket [-sc=xxx] [-acl=xxx]
是否信任不安全证书,默认为“NO”。 默认 OBSServiceConfiguration.maxConcurrentCommandRequestCount 允许的最大的命令请求并发数,默认为3。 默认 OBSServiceConfiguration.maxConcurrentUploadRequestCount
重启MapReduce2集群。 增加Hive对接OBS的jar包 执行以下命令,在Hive Server节点创建auxlib文件夹。 mkdir /usr/hdp/3.0.1.0-187/hive/auxlib 执行以下命令,将OBSA-HDFS工具的jar包放到auxlib文件夹。 cp
jar。 增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令,命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。 执行如下命令,将OBSA-HDFS工具的jar包放到/opt/cloudera/parcels/CDH-6
获取上传桶、对象信息 bucketName = event['Records'][0]['obs']['bucket']['name'] objectKey = urllib.unquote(event['Records'][0]['obs']['object']['key'])
需要注意的是,如果在上传过程中,本地目录中的文件有新增则无法保证工具最终上传的对象数目和本地目录内文件数目的一致性;如果希望同步这部分新增文件可以在上传完成后重新执行增量上传命令。 父主题: 常见问题
调优最佳实践。 需要注意的是,rateLimitThreshold参数指定的是obsutil任务的全局限速,这意味着当使用cp、sync等命令进行批量文件的上传/下载时,最终的实际上传/下载速度上限仍然为rateLimitThreshold指定的阈值而不是批量任务的并发任务数*rateLimitThreshold。
性能或功能,使用时需要注意以下细节: 挂载目录中的文件或文件夹不支持硬链接命令。 创建的目录深度不超过45层。 因使用FUSE框架存在内核态与用户态切换,不适合高并发场景。 ls、stat等linux命令需要远程访问OBS服务器,所以性能较差。 一个并行文件系统支持挂载到多台云服
使用getcondition.image_process_config指定图片处理参数。 图片处理参数当前仅支持命令方式,即image/commands格式。 图片处理参数支持级联处理,可对图片文件依次实施多条命令。 父主题: 下载对象
启用MD5进行数据一致性校验会影响上传下载性能。 表1 校验数据一致性的方式 方式 说明 操作指导 obsutil 命令行工具,可以通过简单的一行命令实现上传下载,并且在命令中选择是否采用MD5校验。 使用obsutil校验上传对象的一致性 使用obsutil校验下载对象的一致性 OBS
消息体,消息体具体内容需要根据具体接口而定。 发起请求 共有两种方式可以基于已构建好的请求消息发起请求,分别为: cURL cURL是一个命令行工具,用来执行各种URL操作和信息传输。cURL充当的是HTTP客户端,可以发送HTTP请求给服务端,并接收响应消息。cURL适用于接口
右键待删除的文件或文件夹,并单击“删除”。 也可以选中多个文件或文件夹,单击文件列表上方的“更多>删除”进行批量删除。 在消息确认框中单击“是”。 使用命令行工具obsutil 命令结构: Windows操作系统 删除单个对象 obsutil rm obs://bucket/key [-f] [-versionId=xxx]
close方法显式关闭,回收连接资源。 如果未调用ObsClient -> close方法,则该方法会被ObsClient的析构函数调用,以确保连接资源的释放。 出于DNS解析性能和OBS服务可靠性的考虑,不允许将endpoint设置为IP,必须使用域名访问OBS服务。 父主题: 初始化