检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
出现“客户端与服务器的时间相差大于15分钟”的报错 问题 当出现“客户端与服务器的时间相差大于15分钟”的报错时,无法正常使用OBS。 回答 出于安全目的,OBS会校验Browser和服务器的时间差,当该时间差大于15分钟时,会出现此报错。请根据本地UTC时间调整本地时间以避免此问题。
出现“客户端与服务器的时间相差15分钟”的报错 问题: 使用OBS时出现报错“客户端与服务器的时间相差大于15分钟”或“The difference between the request time and the current time is too large”。 原因:
如何在不暴露AKSK的条件下实现与OBS交互? 使用BrowserJS SDK与OBS服务交互时,必须将AK/SK暴露到前端,这样会存在安全问题。为避免该问题出现,可让后端生成临时签名URL给前端后,前端再与OBS交互。 比如:实现上传功能。 // 后端使用NodeJS SDK //
此外,对象存储服务OBS提供了OBSFileSystem插件(OBSA-HDFS),可与上层大数据平台无缝对接,实现业务零改造。 OBSFileSystem的主要作用:提供HDFS文件系统的相关接口实现,让大数据计算引擎(Hive、Spark等)可以将OBS作为HDFS协议的底层存储。
内网DNS服务器地址。 nameserver 内网DNS服务器地址 内网DNS服务器地址:需要根据ECS所在区域选择内网DNS服务器地址,具体的地址信息请参见华为云提供的内网DNS服务器地址。 新增的DNS服务器地址必须位于所有原有的DNS服务器地址之前。 DNS服务器按照nam
Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。 HDFS协议:
备份软件:适用于多应用、多主机场景,自动备份,兼容性强 云存储网关:可无缝嵌入本地已有的备份系统 数据快递:适用于海量数据归档场景,离线邮寄上云 建议搭配服务 数据快递服务 DES,弹性云服务器 ECS 图6 备份归档 HPC 场景描述 OBS配合弹性云服务器(ECS)、弹性伸缩(AS)、云硬盘(EVS)
并行文件系统是否支持挂载到Windows服务器? 并行文件系统当前仅支持通过obsfs工具挂载至Linux服务器,暂不支持挂载至Windows服务器。 并行文件系统挂载至Linux服务器,具体请参见挂载并行文件系统。 父主题: OBS Browser+和obsutil等工具相关
当通过内网访问OBS时,需要确保待访问的OBS资源与ECS属于同一个区域,例如都在华北-北京四。如果不属于同一个区域,将采用公网访问。 方案架构 在已搭建的ECS上通过配置内网DNS,由内网DNS解析OBS域名,即可实现在ECS上经由内网访问OBS。访问过程示意图如图1所示。 图1 内网访问OBS示意图 对于Windows
配置双端固定实现VPC粒度的访问控制 操作场景 使用“双端固定”特性,即同时设置VPC终端节点策略与桶策略,可以对OBS的资源提供VPC粒度的权限控制。 一方面,设置VPC终端节点策略可以限制VPC中的服务器(ECS/CCE/BMS)访问OBS中的特定资源;另一方面,设置桶策略可
配置CORS实现跨域访问OBS OBS提供HTML5协议中的CORS设置,帮助用户实现跨域访问。 您可以新建CORS规则,也可以从其他桶复制已有CORS规则。 背景知识 跨域是指不同域名之间相互访问。 跨域访问是浏览器出于安全考虑而设置的一个限制,即同源策略。由于JavaScri
约束与限制 本章介绍OBS的性能指标和使用限制。 访问带宽和QPS 表1 访问带宽和QPS限制 限制项 说明 带宽 单个华为云账号默认的读写(GET/PUT)带宽上限是16Gbit/s。如果带宽达到该阈值,请求会触发流控。 如果您的业务有更大的带宽需求,请提交工单申请。 每秒请求数(Query
使用obsutil实现目录分享 目录分享允许桶的拥有者将桶的目录或者整个桶以授权码+提取码的形式分享给其他用户。获取到授权码和提取码的用户,可以在授权码的有效期内通过OBS提供的工具(OBS Browser、obsutil),或者直接在浏览器上输入授权码进行对象的列举和下载。 o
Browser+需通过公网下载,或者从其他可以访问公网的云服务器下载后传到当前云服务器安装。 前提条件 在登录ECS云服务器之前,请确保您已购买云服务器。 操作流程 图1 在Windows ECS上使用OBS Browser+通过内网访问OBS的流程 操作步骤 登录Windows ECS 登录华为云,在页面右上角单击“控制台”,进入“控制台”页面。
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
OBS如何实现备份和容灾? OBS通过如下方式实现备份和容灾: 创建桶时开启多AZ属性,用户数据冗余存储至多个AZ中。 通过跨区复制功能。用户可以将一个区域的桶中数据复制到另一个区域,实现云端备份。 将OBS中的数据下载到本地,本地备份数据。 父主题: 数据安全、迁移和备份
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
OBS可以通过域名进行访问,在使用API、第三方工具等方式使用OBS时,可通过域名方便定位OBS中的资源。 在使用OBS之前,请确保客户端环境已经正确配置DNS服务器地址,用于OBS域名解析。 不同的数据中心分配对应的域名,域名详情请参见地区和终端节点。 父主题: 产品咨询
使用备份软件实现本地数据备份至OBS 使用场景 传统的备份与恢复方案需要将备份数据写入磁带等存储设备,然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素,比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护,都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。
大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外,还可以直接与开源的大数