检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
一样操作对象,实现数据的共享。 适用于原本使用本地文件系统存储数据的用户,可以把数据存储在OBS上但不改变数据的访问方式。 obsfs(已下线) obsfs工具于2024年7月1日下线,下线后OBS不再对此工具提供维护和客户支持服务,请使用s3fs将OBS对象桶挂载至Linux系统。给您带来不便敬请谅解。
Windows系统 前提条件 在使用本工具前,您需完成注册华为帐号并开通华为云,开通OBS,并创建一个可用的桶。 已下载obsftp工具。 工具下载地址:https://github.com/huaweicloud-obs/obsftp 在Windows上使用此工具前需要您先完成Python安装。
使用临时安全凭证直传OBS 方案架构 使用的方式,可以将应用客户端的数据直传至OBS,或者将存储在OBS里的数据进行下载。具体流程如图1。 OBS支持使用临时安全凭证(临时AK/SK和securitytoken)进行授权访问,同时支持为临时安全凭证配置权限策略来指定使用该临时安全
end port of passive ports when transefer data,must be <=65535 父主题: 安装和使用obsftp
使用前需知 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 请确认您已经熟悉OBS的基本概念,如桶(Bucket)、对象(Object)、访问密钥(AK和SK)等。 您可以先参考OBS客户端通用示例,了解OBS
下载OBS Browser OBS Browser已于2020年4月15日下线,相关功能已集成到新版客户端工具OBS Browser+中,请获取最新的OBS Browser+工具。给您带来不便敬请谅解。 父主题: 入门
--listen_address=x.x.x.x 用户名的组成为: AccessKeyID/bucketname ; 密码为: AccessSecretyKeyID。 登录成功后,您便可以使用常用的FTP命令来管理存储在OBS上的文件。 父主题: 安装和使用obsftp
Service,OBS)提供的一款基于FUSE的文件系统工具,用于将OBS并行文件系统挂载至Linux系统,让用户能够在本地像操作文件系统一样直接使用OBS海量的存储空间。 对于原本使用本地文件系统存储数据的用户,如果希望把数据存储在OBS上但不改变数据的访问方式,可以使用obsfs。 功能概述
使用obsftp上传/下载数据失败 现象描述 obsftp能够成功启动,但上传/下载数据失败。 可能原因 由于obsftp启动时,如果不指定使用端口,会从0~65535端口中随机选一个。当防火墙或者使用的虚拟机安全组限制了obsftp选择的端口时,使用obsftp时就会出现上传/下载数据失败的现象。
通过OBS Browser+图形化工具快速使用OBS OBS Browser+是一款图形化工具,可以非常方便地让用户在本地对OBS的数据进行管理。 本章节以上传一个文件至“test-example-bucket”桶为例,帮助您快速通过OBS Browser+使用OBS的基础功能,
大数据场景下使用OBS实现存算分离 方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
使用obsutil实现客户端跨区域复制 obsutil支持使用客户端跨区域复制模式进行复制,即通过数据流的方式从源桶直接复制数据到目标桶,且两个桶可以是任意两个OBS服务的桶;借助客户端跨区域复制模式即可实现相同账户下不同区域桶或不同账户间桶内对象的复制;跨账号复制对象具体步骤如下:
OBS控制台使用相关 控制台浏览器兼容性 出现“客户端与服务器的时间相差15分钟”的报错 下载一个对象名较长的对象到本地后,对象名称改变 使用IE11浏览器下载对象时提示对象无法下载 使用IE9浏览器无法打开OBS管理控制台界面 错误码列表
)服务器的地址,具体地址为云解析服务中该公网域名记录集中NS记录的值字段内容信息。 详细的更改域名解析服务器地址的方法请参见配置网站解析章节中的“更改域名的DNS服务器”部分。 更改后的域名解析服务器地址将于48小时内生效,具体生效时间请以域名注册商处的说明为准。 验证 在浏览器中输入访问地址:www
充值成功后,关闭充值窗口,返回管理控制台首页。 在服务列表中选择“对象存储服务 OBS”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。以下是对AK和SK的解释说明: AK:Access Key ID
OBS服务环境搭建 注册云服务账号 使用OBS之前必须要有一个云服务账号。 打开浏览器。 登录公有云网站。 在页面右上角单击“注册”。 按需填写注册信息并单击“同意协议并注册”。 开通OBS服务 使用OBS服务之前必须先充值,才能正常使用OBS服务。 登录管理控制台。 单击页面右上角的“费用和成本”进入费用中心页面。
通过obsutil命令行工具快速使用OBS obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使
磁带等传统存储设备的非常有吸引力的替代品。OBS即一种云存储服务,它提供海量、可弹性扩展的存储服务。OBS所有的业务、存储节点采用分布集群方式工作使得OBS的可扩展性更高。提供数据多份冗余、一致性检查等功能使得存储在OBS中的数据更加安全、可靠。OBS按照使用量付费,使得成本易于预测。
使用obsutil下载文件到99%后失败 出现该问题的主要原因: 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。