检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS访问OBS 功能简介 访问OBS过程为: 设置“fs.obs.access.key”和“fs.obs.secret.key”。 由此FileSystem实例可以读取、新增和删除各类资源。 不支持追加操作。 前提条件 对接OBS前需要提前在OBS服务中创建相关目录,并确保访问用户具有对应目录的访问操作权限。
如何进入费用中心 方法一 登录华为云后,单击页面右上角的账号名称下拉框,选择“费用与成本”。 方法二 登录华为云后,进入控制台,单击“费用”进入费用中心,或在“费用”下拉框中选择需要查看的功能。
桶内无对象,为什么还会产生存储费用? OBS的计费项之一是存储费用。桶中的对象、已删除对象和碎片均会占用存储空间,进而产生存储费用。 检查是否存在已删除对象 什么是已删除对象? 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。
Browser+下载地址及具体操作请参见下载OBS Browser+。 登录OBS Browser+ 由于OBS Browser+默认使用公网访问OBS,因此在登录OBS Browser+时,“服务提供商”和“服务器地址”需要按照以下要求填写: 服务提供商:选择“其他对象存储服务”。 服务器地址:根据ECS
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
OBS 对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。详情参考帮助文档。本次实践,使用OBS来存储xxxx服务平台上传的图片、文件或者通过接口调用生成的json文件。 登录华为云OBS管理控制台
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。
配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
产品概述 OBS Browser已于2020年4月15日下线,相关功能已集成到新版客户端工具OBS Browser+中,请获取最新的OBS Browser+工具。给您带来不便敬请谅解。 OBS Browser是一款运行在Windows和Mac系统上的对象存储服务客户端,方便您在个人电脑上完成对象存储管理。
步骤三:访问OBS服务 操作场景 本节介绍如何通过虚拟专用网络或者云专线方式访问OBS服务。 前提条件 您的本地数据中心已通过虚拟专用网络或者云专线与VPC连通。 虚拟专用网络VPN网关允许访问的VPC子网网段,需要包含OBS的网段,详细请提交工单或联系对象存储服务的客户经理获取。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
在ECS上通过内网访问OBS 方案概述 在Windows ECS上使用OBS Browser+通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS 父主题: OBS数据访问
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
下载OBS文件 从OBS下载一个文件。 接口调用 HiLensEC hilens::DownloadFileFromOBS(const std::string & url, const std::string & downloadTo) 参数说明 表1 参数说明 参数名 说明 url
具体请参见“云服务退订规则概览”。 什么情况下会收取手续费? 五天无理由退订、退订未生效的续费周期、退订未生效的资源、资源开通失败自动退订等退订场景不收取手续费,退还代金券。 非五天无理由退订需要收取手续费,不退还代金券。 如何计算退订费用? 五天无理由退订/退订续费周期费用计算: 全
为什么会有企业项目为未归集费用? 仅部分云服务支持企业项目管理,支持企业项目管理的云服务列表请参见企业项目管理支持的云服务。 如果您购买云服务资源时没有特别设置企业项目,将统一默认为:default。 如果您购买的云服务资源不支持设置企业项目,则统一呈现为:未归集。 父主题: 账单
登录客户端 本节介绍如何登录OBS Browser。 操作步骤 双击“obs.exe”程序,打开OBS Browser。 如果是首次启用OBS Browser,打开OBS Browser时将自动弹出“添加新账号”界面,请执行步骤4。 在OBS Browser右上角,单击账号名,并选择“账号管理”。
OBS服务环境搭建 注册云服务账号 使用OBS之前必须要有一个云服务账号。 打开浏览器。 登录公有云网站。 在页面右上角单击“注册”。 按需填写注册信息并单击“同意协议并注册”。 开通OBS服务 使用OBS服务之前必须先充值,才能正常使用OBS服务。 登录管理控制台。 单击页面右上角的“费用和成本”进入费用中心页面。
conf”文件中按照以下格式,在原有的DNS服务器地址之前新增内网DNS服务器地址。 nameserver 内网DNS服务器地址 内网DNS服务器地址:需要根据ECS所在区域选择内网DNS服务器地址,具体的地址信息请参见华为云提供的内网DNS服务器地址。 新增的DNS服务器地址必须位于所有原有的DNS服务器地址之前。
OBS如何实现备份和容灾? OBS通过如下方式实现备份和容灾: 创建桶时开启多AZ属性,用户数据冗余存储至多个AZ中。 通过跨区复制功能。用户可以将一个区域的桶中数据复制到另一个区域,实现云端备份。 将OBS中的数据下载到本地,本地备份数据。 父主题: 数据安全、迁移和备份