检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作系统:CentOS 7.5) 软件:CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 并将OBSA-HDFS工具jar包(如hadoop-huaweicloud-3.1.1-hw-53.8.jar)上传到
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
例如,系统中已存在指定前缀名为“abc”的规则,则不允许再配置指定前缀包含“abc”字段的规则。 如果已存在按前缀配置的生命周期规则,则不允许再新增配置到整个桶的规则。 如果已存在配置到整个桶的生命周期规则,则不允许再新增按前缀配置的规则,此时界面的“创建”按钮会变成灰色,表示不可操作。
日志文件 配置日志文件 obsutil的日志文件分为工具日志和SDK日志,可通过在.obsutilconfig配置文件中加入如下参数开启这两种日志: 工具日志(记录工具在运行期间产生的日志信息):配置utilLogPath、utilLogBackups、utilLogLevel、utilMaxLogSize。
永久分享文件夹:可通过配置桶策略指定以目录为前缀的对象权限为公共读权限,即可实现对该前缀下的所有对象的匿名访问。 设置对象ACL操作步骤 登录OBS Browser+。 选中待配置的对象,单击页面上方按钮“更多->对象ACL”。 根据需求设置目标对象的ACL权限,单击“确定”,如下图所示。
OBS Browser+和obsutil等工具相关 使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?
桶名称 桶的名称 桶类型 对象存储 还是 并行文件系统。 区域 桶所在的区域。 存储类别 桶的存储类别,有标准存储、低频访问存储、归档存储三种类别。 桶版本号 桶的版本号。 存储用量 桶中存储的对象占用的存储空间。 对象数量 桶中存储的对象数量。 多AZ 多AZ功能的状态。 开启多AZ后,数据冗余存储至多个AZ中。
WordPress是一个基于PHP语言和MySQL数据库开发的博客平台,并逐步演化成一款内容管理系统软件,具有广泛的应用场景。 本文介绍如何通过插件,将WordPress远程附件存储到华为云OBS。OBS提供海量、稳定、安全的云存储能力,无需事先规划存储容量,存储资源可线性无限扩展。 插件支持的功能如下: 支持自定义附件在桶的存储位置。
碎片管理 背景信息 对象存储服务采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。
桶所属区域。请选择靠近您业务的区域,以降低网络时延,提高访问速度。 桶创建成功后,不支持变更区域,请谨慎选择。 存储类别 标准存储 桶的存储类别。不同的存储类别可以满足客户业务对存储性能、成本的不同诉求。 标准存储:适用于有大量热点文件或小文件,且需要频繁访问(平均一个月多次)并快速获取数据的业务场景。
OBS是否支持批量下载文件? OBS管理工具批量下载功能的支持情况: 表1 OBS管理工具批量下载功能 工具 批量下载 管理控制台 不支持 OBS Browser+ 支持 详情请参见下载文件或文件夹。 obsutil 支持,详情请参见下载对象。 SDK 不支持 API 不支持 父主题:
是真随机数的SecureRandom。 当操作系统没有足够的熵来生成随机数时(比如系统刚启动时),那么生成真随机数的SecureRandom可能会阻塞,直到足够的熵可用为止。建议同时通过相关措施补充熵(例如linux下的haveged),改善熵源不足时生成真随机数阻塞的问题。 ObsConfiguration
OBS是否支持断点续传功能? OBS管理工具断点续传功能的支持情况: 表1 OBS管理工具断点续传功能 OBS管理工具 断点续传功能 管理控制台 不支持 OBS Browser+ 支持 obsutil 支持 参考文档:利用obsutil进行断点续传 SDK 支持 使用SDK的断点续传接口时,必须开
OBS是否支持批量上传文件? OBS管理工具批量上传功能的支持情况: 表1 OBS管理工具批量上传功能 工具 批量上传 管理控制台 OBS管理控制台支持批量上传文件,单次最多支持100个文件同时上传,总大小不超过5GB。详见上传文件。 OBS Browser+ 支持上传多个文件或
采用obsutil进行文件上传下载,如果通过公网,受公网带宽限制;如果通过内网,受网卡、磁盘IO及是否有其它进程抢占资源的限制。 如果出现上传下载速度慢的问题,可参考以下方法排查处理: 检查网络。 ping同区域的OBS终端节点(Endpoint),例如ping obs.cn-north-1.myhuaweicloud
开启增量功能。 该参数的含义为:上传/下载/复制每个对象时都会对比源路径和目标路径,仅在目标对象不存在,或者对象大小不一致,或者目标对象的最后修改时间早于源对象的最后修改时间时进行上传/下载/复制。 父主题: OBS Browser+和obsutil等工具相关
使用obsutil下载文件到99%后失败 出现该问题的主要原因: 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。 如果问
tempFileDir 附加参数,可选 下载时保存临时文件的文件夹,默认为配置文件中的defaultTempFileDir。 说明: 由于分段下载时生成的临时文件会保存在该目录,请确保运行obsutil的用户对该路径有写权限。 该路径的可用空间需要大于待下载对象的大小。 dryRun 附加参数,可选 测试模式运行,不执行实际的上传操作。
Service,OBS)提供的一款基于FUSE的文件系统工具,用于将OBS并行文件系统挂载至Linux系统,让用户能够在本地像操作文件系统一样直接使用OBS海量的存储空间。 对于原本使用本地文件系统存储数据的用户,如果希望把数据存储在OBS上但不改变数据的访问方式,可以使用obsfs。 功能概述
附加参数,可选 生成授权码的保存路径。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。