检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
dir</name> <value>obs://obs-bucket/warehouse/hive</value> </property> 可选配置,当添加了上述配置后在创建Hive表时将不用再显示指定location,创建的Hive表将自动落在OBS上。 执行以下命令,初始化元数据。
"fs.obs.impl":"org.apache.hadoop.fs.obs.OBSFileSystem", "fs.obs.access.key":"可访问OBS的ak",
在服务列表中选择“对象存储服务 OBS”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。以下是对AK和SK的解释说明: AK:Access Key ID,接入键标识,用户在对象存储服务系统中的接入键
OBS支持使用HTTPS协议访问吗? OBS对HTTPS的支持情况如下: OBS桶域名:支持,在浏览器中将桶或对象的URL的http替换成https即可。 OBS自定义域名:暂不支持,如需使用请提交工单。 开启CDN加速后的OBS加速域名:支持,开启CDN加速后可通过CDN管理控
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
我可以在线编辑OBS中的对象吗? OBS是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 一般情况下,OBS不支持在线编辑对象内容。可以把对象下载到本地,修改后再重新上传至OBS。 针对以下特殊场景,OBS支持在线对对象进行处理: 修改对象元数据
创建桶 桶是对象存储中存储对象的容器。您需要先创建一个桶,然后才能在对象存储中存储数据。 操作步骤 登录OBS Browser+。 在页面上区域单击“创建桶”。 在弹出的对象框中根据需要填写桶信息,如图1所示。 图1 创建桶 表1 创建桶 参数 说明 区域 选择新建桶所在的Reg
OBS客户端初始化(Harmony SDK) 功能说明 ObsClient是访问OBS服务的Harmony客户端,它为调用者提供一系列与OBS服务进行交互的接口,用于管理、操作桶(Bucket)和对象(Object)等OBS服务上的资源。使用OBS Harmony SDK向OBS
ID)。 调用OBS服务端上传段接口,逐个或并行上传段,每个段最大可支持5GB。 上传段完成后,调用OBS服务端合并段接口,生成最终对象。 OBS SDK实现了OBS服务端分段上传需要使用的原子接口,可在各语言《SDK参考》的“分段上传”章节获取更多使用OBS SDK进行分段上传的介绍。
OBS如何实现备份和容灾? OBS通过如下方式实现备份和容灾: 创建桶时开启多AZ属性,用户数据冗余存储至多个AZ中。 通过跨区复制功能。用户可以将一个区域的桶中数据复制到另一个区域,实现云端备份。 将OBS中的数据下载到本地,本地备份数据。 父主题: 数据安全、迁移和备份
根据专线带宽决定 根据专线距离以及带宽收费,具体参见云专线价格详情 OBS工具方式 OBS工具方式适用于百GB规模的数据搬迁。OBS提供OBS Browser+、obsutil等多种客户端工具,方便用户在本地直接将数据上传至OBS。由于上传需要占用用户公网带宽,为不影响用户在公网上的主营业
上传文件或文件夹 上传文件操作可将本地文件或文件夹存储至OBS,对象的存储类别默认与桶的存储类别一致。 背景信息 OBS Browser+使用分段上传功能上传文件。通过分段上传功能,OBS Browser+支持上传最大为48.8TB的单个文件。 文件或文件夹名称长度不能超过102
删除碎片的不同方式 工具 方法 OBS控制台 OBS控制台提供图形化的碎片列表界面,您可以一键批量删除桶中所选中的碎片。 具体操作请参见清理碎片。 OBS Browser+ 您可以一键批量删除桶中所选中的碎片。也可以单击页面上方“删除所有”,清除所有碎片。 obsutil obsutil分段上传
一张图看懂OBS权限控制
SDK概述 对象存储服务软件开发工具包(OBS SDK,Object Storage Service Software Development Kit)是对OBS服务提供的REST API进行的封装,以简化用户的开发工作。用户直接调用OBS SDK提供的接口函数即可实现使用OBS服务业务能力的目的。
场景二:文件夹中的对象大小均匀。可能原因为数据已经下载完成,但是在写入磁盘时产生排队现象,造成显示下载变慢的假象,请客户排查客户端的写入速率等问题。 父主题: OBS Browser+和obsutil等工具相关
Java、Python、C、.NET、Node.js、Android SDK对OBS各接口的支持情况请参见表1。 iOS、PHP、Go、BrowserJS、Harmony SDK对OBS各接口的支持情况请参见表2。 表1 OBS SDK功能矩阵1 接口类型 接口名 函数名/特性归属函数名 Java
OBS是否支持流量监控? OBS支持流量监控功能: 通过OBS控制台的用量统计,能监控统计周期内的流量指标。查看方法,请参见查看用量统计。 通过云监控CES,能监控OBS包括流量指标在内的如下指标: 表1 OBS支持的监控指标(请求类) 指标ID 指标名称 指标含义 取值范围 测量对象
OBS Browser+简介 OBS Browser+是一款用于访问和管理对象存储服务(Object Storage Service,OBS)的图形化工具,支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理,例如:创建桶、上传下载文件、浏览文件等。
本章节以Linux操作系统为例,介绍如何通过obsutil在OBS上完成基本的数据存取操作,具体操作流程如图1所示。 图1 obsutil快速使用流程 前提条件 已获取到obsutil工具,并完成了初始化配置。 已进入obsutil工具所在目录。 操作步骤 运行./obsutil mb obs://bucket-test