检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Windows系统 前提条件 在使用本工具前,您需完成注册华为帐号并开通华为云,开通OBS,并创建一个可用的桶。 已下载obsftp工具。 工具下载地址:https://github.com/huaweicloud-obs/obsftp 在Windows上使用此工具前需要您先完成Python安装。
在OBS桶中上传的文件大小和格式以OBS服务的限制为准。 前提条件 使用OBS上传文件,企业门户通过获取OBS链接从而使用文件,此时请确保OBS服务所属的华为帐号有足够余额可以正常使用OBS,或者已经购买足够的OBS资源包,否则企业门户将无法加载上传至OBS的文件。OBS服务的价格,请参考计费说明。 例如:
OBS工具汇总 对象存储服务(Object Storage Service,OBS)提供如表1所示工具,供用户使用。 表1 OBS工具一览表 工具 说明 应用场景 OBS Browser+ OBS Browser+是一款用于访问和管理对象存储服务的图形化工具,支持完善的桶管理和对象管理操作。OBS
Service,简称OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。OBS的更多信息,请参见《对象存储服务控制台指南》。 推荐使用《文件系统输出流(推荐)》。 前提条件 OBS输出流功能仅支持输出数据到3.0版本以上的桶,请先查看桶信息确认桶的版本。 语法格式 1
OBS授权 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 样例代码 用户可以使用OBS授权操作的接口,将OBS桶的操作权限授权给DLI, 用于保存用户作业的数据和作业的运行日志等。 示例代码如下: 1
--listen_address=x.x.x.x 用户名的组成为: AccessKeyID/bucketname ; 密码为: AccessSecretyKeyID。 登录成功后,您便可以使用常用的FTP命令来管理存储在OBS上的文件。 父主题: 安装和使用obsftp
使用CES监控OBS桶 监控对象存储服务 对象存储服务监控指标说明 父主题: 监控与日志
使用华为云OBS 备案场景 本节介绍使用华为云OBS托管静态网站,且网站域名解析至中国大陆节点服务器的网站备案场景。 如图1所示: ① 您可以将静态网站文件上传至OBS桶,使用OBS托管静态网站。 ② 通过绑定自定义域名,调用存储在OBS桶中的静态网站文件。 ③ 用户通过网站域名(www
使用obsftp上传/下载数据失败 现象描述 obsftp能够成功启动,但上传/下载数据失败。 可能原因 由于obsftp启动时,如果不指定使用端口,会从0~65535端口中随机选一个。当防火墙或者使用的虚拟机安全组限制了obsftp选择的端口时,使用obsftp时就会出现上传/下载数据失败的现象。
大数据场景下使用OBS实现存算分离 方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
磁带等传统存储设备的非常有吸引力的替代品。OBS即一种云存储服务,它提供海量、可弹性扩展的存储服务。OBS所有的业务、存储节点采用分布集群方式工作使得OBS的可扩展性更高。提供数据多份冗余、一致性检查等功能使得存储在OBS中的数据更加安全、可靠。OBS按照使用量付费,使得成本易于预测。
使用obsutil实现客户端跨区域复制 obsutil支持使用客户端跨区域复制模式进行复制,即通过数据流的方式从源桶直接复制数据到目标桶,且两个桶可以是任意两个OBS服务的桶;借助客户端跨区域复制模式即可实现相同账户下不同区域桶或不同账户间桶内对象的复制;跨账号复制对象具体步骤如下:
HDFS和Yarn集群对接OBS配置项 在HDFS集群配置中选择“高级”,在core-site.xml的群集范围高级配置代码段(安全阀)增加OBS的ak、sk、endpoint和impl配置,对应名称为fs.obs.access.key、fs.obs.secret.key、fs.obs.endpoint、fs
)两种。每个用户最多可创建两个有效的永久访问密钥。临时访问密钥只在设置的有效期内能够访问OBS,过期后需要重新获取。出于安全性考虑,建议您使用临时访问密钥访问OBS,或使用永久访问密钥访问OBS时,定期更新您的访问密钥(AK/SK)。两种密钥的获取方式如下所示。 永久访问密钥: 登录管理控制台。
通过obsutil命令行工具快速使用OBS obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使
资源说明 成本说明 OBS 需要创建一个OBS桶用于存放静态网站文件,同时在OBS桶上完成静态网站托管配置和自定义域名绑定。 OBS的使用涉及以下几项费用: 存储费用:静态网站文件存储在OBS中产生的存储费用。 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费
OBS控制台使用相关 控制台浏览器兼容性 出现“客户端与服务器的时间相差15分钟”的报错 下载一个对象名较长的对象到本地后,对象名称改变 使用IE11浏览器下载对象时提示对象无法下载 使用IE9浏览器无法打开OBS管理控制台界面 错误码列表
如何在浏览器中在线预览OBS中的对象? 背景信息 基于安全合规要求,华为云对象存储服务OBS禁止通过OBS的默认域名(桶访问域名或静态网站访问域名)在线预览桶内对象,即使用上述域名从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。 OBS不支持在线预览
名称:用户自定义连接名称,例如“obslink”。 OBS终端节点、端口:配置为OBS实际的地址信息。 OBS类型:保持默认。 访问标识(AK)、密钥(SK):登录OBS的AK、SK信息。 图3 创建OBS连接 单击“保存”回到连接管理界面。 步骤4:创建迁移作业 在CDM集群管理界面,单击集群后的“作业管理”,选择“表/文件迁移
专线虚拟网关允许访问的VPC子网网段,需要包含OBS的网段,详细请提交工单或联系对象存储服务的客户经理获取。 开通云专线,请参考开通云专线。 操作步骤 在“终端节点”列表,单击创建的连接DNS服务的终端节点ID,查看该终端节点的“节点IP”。 在用户本地数据中心的DNS服务器配置相应的DNS转