检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
写失败或日志内容丢失的问题,请在运行命令时加上-config参数为每个进程配置独立的配置文件。同时确保utilLogPath和sdkLogPath对每个进程均配置为不同的路径。 收集日志文件 您可通过如下两种方式收集日志: 方式一:使用辅助命令归档日志文件; 方式二:从配置文件中
选中待删除的桶,单击“删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。 单击确认框中的“是”后,删除该桶。 使用命令行工具obsutil 命令结构: Windows操作系统 obsutil rm obs://bucket [-f] [-config=xxx] [-e=xxx]
performed on this resource. Try again later.”,这是由于OBS中存在同名桶且该同名桶在短期内因欠费被释放导致的。建议您更换桶名再试。 检查账号是否拥有权限,如果无权限,请授予对应的操作权限。 登录管理控制台。 在顶部导航栏单击用户名,选择“统
使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?
当用户新创建一个桶时,如果不指定相应的ACL权限,OBS Browser+自动将该桶设置为仅允许桶的所有者访问,其他任何人无法访问该桶及桶内的对象。 使用命令行工具obsutil 命令结构: Windows操作系统 obsutil chattri obs://bucket [-sc=xxx] [-acl=xxx]
BigfileThreshold,详情请参见配置参数说明。 方法二 在运行上传、下载、复制、增量同步上传、增量同步下载、增量同步复制时指定命令级参数:threshold。 例如:obsutil cp d:\temp\test.txt obs://bucket-test/key -threshold=52428800
置信息为配置文件中的:ak/sk/token/endpoint。 须知: 开启跨区域复制后,因为会占用执行命令主机上传和下载的双向带宽、CPU和内存等资源,可能会影响执行命令主机的性能。 vlength 附加参数,可选 复制完成后,验证目标桶对象大小是否与源桶中对象的大小一致。 说明:
是否信任不安全证书,默认为“NO”。 默认 OBSServiceConfiguration.maxConcurrentCommandRequestCount 允许的最大的命令请求并发数,默认为3。 默认 OBSServiceConfiguration.maxConcurrentUploadRequestCount
重启MapReduce2集群。 增加Hive对接OBS的jar包 执行以下命令,在Hive Server节点创建auxlib文件夹。 mkdir /usr/hdp/3.0.1.0-187/hive/auxlib 执行以下命令,将OBSA-HDFS工具的jar包放到auxlib文件夹。 cp
您可以选择取消多段上传任务,取消多段上传任务之后无法再次使用该上传ID上传任何段。然后,OBS将释放被取消的多段上传任务中的每个段数据的所有存储。如果任何多段上传已在进行中,即使您已执行中止操作,它们仍可以上传成功或失败。如果要释放所有分段使用的所有存储,必须在完成所有多段上传后再取消多段上传任务。 (可选)列举段
变更计费模式 OBS支持按需和包年包月(资源包)两种计费模式,两种计费模式的转换逻辑如下: 按需转包年包月(资源包):在使用OBS的过程中,如果发现按需计费模式无法满足业务需求,您可以通过购买对应资源包的方式,变更计费模式为包年包月(资源包),支持资源包抵扣的计费项可参见资源包概
异常处理 OBS服务端错误码 SDK自定义异常 SDK公共响应头 日志分析 缺少类错误 连接超时异常 资源无法释放 签名不匹配异常 报错NetworkOnMainThreadException
获取上传桶、对象信息 bucketName = event['Records'][0]['obs']['bucket']['name'] objectKey = urllib.unquote(event['Records'][0]['obs']['object']['key'])
jar。 增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令,命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。 执行如下命令,将OBSA-HDFS工具的jar包放到/opt/cloudera/parcels/CDH-6
大。 购买说明 在购买一个资源包后,可继续购买除特价体验资源包外的任意规格资源包。40GB存储包和50GB公网流出流量包为特价体验套餐包,每个用户在同一时间只能分别购买一次,套餐包过期后,才可重复购买,其余规格可任意叠加购买。 叠加购买资源包后,会优先使用原购买资源包的容量。如在
需要注意的是,如果在上传过程中,本地目录中的文件有新增则无法保证工具最终上传的对象数目和本地目录内文件数目的一致性;如果希望同步这部分新增文件可以在上传完成后重新执行增量上传命令。 父主题: 常见问题
官方文档。 使用AnyBackup Cloud备份方案 爱数AnyBackup Cloud结合华为云基础服务,将本地数据备份或迁移到云,提供安全、经济、易管理的数据保护解决方案。 购买方式: 进入华为云市场,搜索AnyBackup Cloud,根据场景选择适合自己业务的备份方案。
调优最佳实践。 需要注意的是,rateLimitThreshold参数指定的是obsutil任务的全局限速,这意味着当使用cp、sync等命令进行批量文件的上传/下载时,最终的实际上传/下载速度上限仍然为rateLimitThreshold指定的阈值而不是批量任务的并发任务数*rateLimitThreshold。
各工具使用场景及操作指导,请参见OBS工具指南。 CDM方式 云数据迁移(Cloud Data Migration,CDM)提供同构/异构数据源之间批量数据迁移服务。CDM通过创建定时作业,将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接,从而实现定时、自动地将本地数据搬迁至OBS。
启用MD5进行数据一致性校验会影响上传下载性能。 表1 校验数据一致性的方式 方式 说明 操作指导 obsutil 命令行工具,可以通过简单的一行命令实现上传下载,并且在命令中选择是否采用MD5校验。 使用obsutil校验上传对象的一致性 使用obsutil校验下载对象的一致性 OBS