检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。
HDFS协议:Hadoop中定义了HDFS协议(通过FileSystem抽象类),其他各类存储系统均可以实现HDFS协议,例如Hadoop中内置的HDFS服务,华为云的对象存储服务OBS。
OBS最佳实践汇总 本文汇总了基于对象存储服务(OBS,Object Storage Service)常见应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松构建基于OBS的存储业务。
登录OBS Browser+ 由于OBS Browser+默认使用公网访问OBS,因此在登录OBS Browser+时,“服务提供商”和“服务器地址”需要按照以下要求填写: 服务提供商:选择“其他对象存储服务”。
在服务列表中选择“存储 > 对象存储服务 OBS”。 在“对象存储”的桶列表中搜索访问失败的桶,单击桶名称,进入“对象”页面。 在左侧导航栏,单击“访问权限控制 > 桶ACLs”,查看已经配置的桶ACL。
OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。
OBS支持使用HTTPS协议访问吗? OBS对HTTPS的支持情况如下: OBS桶域名:支持,在浏览器中将桶或对象的URL的http替换成https即可。 OBS自定义域名:暂不支持,如需使用请提交工单。
示例如下,示例中的location为obs://obs-bucket/warehouse/hive/student。
如何在浏览器中在线预览OBS中的对象? 背景信息 基于安全合规要求,华为云对象存储服务OBS禁止通过OBS的默认域名(桶访问域名或静态网站访问域名)在线预览桶内对象,即使用上述域名从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。
小程序直传OBS 背景信息 微信小程序作为当下流行的移动应用,具有广泛的应用场景。如何通过微信小程序上传文件至对象存储服务OBS成为了一个热点问题,本文将通过一个示例程序进行演示。
常见的数据存储操作请参见: 上传对象 下载对象 详细使用指南请参见对象存储服务工具指南(obsutil)。 父主题: 在ECS上通过内网访问OBS
OBS如何实现备份和容灾? OBS通过如下方式实现备份和容灾: 创建桶时开启多AZ属性,用户数据冗余存储至多个AZ中。 通过跨区复制功能。用户可以将一个区域的桶中数据复制到另一个区域,实现云端备份。 将OBS中的数据下载到本地,本地备份数据。 父主题: 数据安全、迁移和备份
如果存储在对象存储服务 OBS中的数据不再使用,您可以将他们删除,以免继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度、通用代金券和现金券的总额度低于预警阈值时,系统自动发送短信和邮件提醒。 当产生欠费后,请您及时充值使可用额度大于0。
桶内无对象,为什么还会产生存储费用? OBS的计费项之一是存储费用。桶中的对象、已删除对象和碎片均会占用存储空间,进而产生存储费用。 检查是否存在已删除对象 什么是已删除对象? 在OBS管理控制台左侧导航栏选择“桶列表”。
SDK概述 对象存储服务软件开发工具包(OBS SDK,Object Storage Service Software Development Kit)是对OBS服务提供的REST API进行的封装,以简化用户的开发工作。
在服务列表中选择“对象存储服务 OBS”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。
默认取值: 无 RequestId string 参数解释: OBS服务端返回的请求ID。 默认取值: 无 ResponseHeaders map[string][]string 参数解释: HTTP响应头信息。
CDM方式 云数据迁移(Cloud Data Migration,CDM)提供同构/异构数据源之间批量数据迁移服务。CDM通过创建定时作业,将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接,从而实现定时、自动地将本地数据搬迁至OBS。
如果要同时授予OBS服务级权限和资源级权限,必须使用IAM权限,或者IAM权限与OBS权限结合使用。
服务端加密:通过服务端加密功能,对上传至OBS桶中的数据进行加密保护。 跨域资源共享(CORS):通过配置CORS规则,可以实现跨域名访问OBS。