检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云MapReduce服务(MRS)是华为云提供的大数据服务,可以在华为云上部署和管理Hadoop系统,一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Ha
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
如何处理碎片? OBS 3.0支持 企业项目 企业项目是对多个资源实例和服务进行归类管理的单位,不同云服务区的资源和服务可以归到一个企业项目中。企业可以根据不同的部门或项目组,将相关的资源放置在相同的企业项目内进行管理。 您可以在创建桶时指定桶所属的企业项目,更方便的进行桶资源和权限管理。 发布区域:全部
产品功能 表1列出了对象存储服务OBS提供的常用功能特性。 在使用对象存储服务OBS之前,建议您先了解对象存储服务OBS的基本概念,以便更好地理解对象存储服务OBS提供的各项功能。 表1 对象存储服务OBS功能概览 功能名称 功能描述 发布区域 OBS 2.0支持 OBS 3.0支持
利用obsutil帮助命令查找工具功能 obsutil提供了帮助命令(help命令)用于查看各命令的帮助文档。以查询创建桶命令的帮助文档为例,详细的步骤如下: 使用obsutil help命令查看当前支持的所有命令列表。 根据命令列表中的文档说明,找到需要查看的命令缩写,例如创建桶命令缩写为mb。
大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外,还可以直接与开源的大数据组件对
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
SDK功能矩阵 Java、Python、C、.NET、Node.js、Android SDK对OBS各接口的支持情况请参见表1。 iOS、PHP、Go、BrowserJS、Harmony SDK对OBS各接口的支持情况请参见表2。 表1 OBS SDK功能矩阵1 接口类型 接口名
配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
默认支持保存最多100个用户的登录信息。 支持登录历史删除和查询。 其他辅助功能 OBS Browser+ 提供了收藏夹的功能,帮助您收藏常用的OBS访问路径,默认最大支持收藏100条路径信息。 桶列表和对象列表都支持丰富的鼠标右键功能,帮您快速找到您想要的操作。 单击OBS Browser+的log
于可选状态。 企业项目 default 将桶加入到企业项目中统一管理。如无特殊的企业项目划分和管理需求,此处可直接选择默认企业项目“default”。 如果您想要了解更多关于如何通过企业项目管理OBS桶,具体请参见创建桶中的“企业项目”参数说明。 单击页面右下角的“立即创建”,并确认提示信息。
软件:Ambari:2.7.1.0,HDP:3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 下载OBSA-HDFS工具的jar包(如hadoop-huaweicloud-3.1.1-hw-53.8.jar)到/mnt/obsjar目录。
8是OBSA的版本号。 如hadoop版本为3.1.x,则选择hadoop-huaweicloud-3.1.1-hw-53.8.jar。 增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令,命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。
Browser+过程中,如果使用账号登录时提示“没有权限登录”,原因是统一身份认证服务平台认证失败。 可按照以下步骤排查解决问题: 联系当前租户的安全管理员,登录统一身份认证服务控制台。 查看当前AK所属用户是否被禁用。 查看当前AK所属用户的访问方式是否开启编程访问。 查看当前用户请求是否授权登录操作。
OBS提供高并发、高可靠、低时延、低成本的海量存储系统,结合计算服务可快速搭建高扩展性、低成本、高可用的基因测序平台。 客户数据中心测序仪上的数据通过云专线自动快速上传到华为云,通过由ECS、CCE、MRS等服务搭建的计算集群进行分析计算,分析计算产生的数据和计算结果存储到OBS中,其中上传到华为云的基因数据自
建存储服务器带来的资金、时间及人力成本的投入,后期的设备维护也全部交由OBS处理。 华为云提供搬迁方案,帮助用户将自建存储服务器上的数据短时间、低成本、安全、高效地搬迁至OBS。用户可根据数据量、耗时、费用等需求选择适合的方案进行数据搬迁。 搬迁方案 针对不同的搬迁场景及需求,华为云提供如表1所示的几种搬迁方案。
设置桶归档存储对象直读策略 功能介绍 归档存储对象直读是指用户可以不用恢复归档存储对象,便能直接对其进行操作。 默认情况下,桶没有开启归档存储对象直读功能。 本接口主要用来开启或关闭桶的归档存储对象直读功能。 设置桶的归档存储对象直读状态为Enabled,开启桶的归档存储对象直读功能: 桶内存在
访问OBS链接提示告警信息的原因和解决办法 原因 因为部分用户使用OBS桶时上传了包含色情、暴恐、涉政等违法违规内容,OBS和第三方平台(微信/支付宝/百度等)检测到后会封禁此资源。第三方平台在封禁此资源的同时,会将OBS域名列为不信任域名,导致其他合法使用OBS域名的用户也受到影响。 解决方案
判断桶是否存在(Go SDK) 功能介绍 判断指定桶名的桶是否存在,返回的结果中HTTP状态码为200表明桶存在,否则返回404表明桶不存在。 接口约束 您必须是桶拥有者或拥有判断桶是否存在的权限,才能判断桶是否存在。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:
库开发的博客平台,并逐步演化成一款内容管理系统软件,具有广泛的应用场景。 本文介绍如何通过插件,将WordPress远程附件存储到华为云OBS。OBS提供海量、稳定、安全的云存储能力,无需事先规划存储容量,存储资源可线性无限扩展。 插件支持的功能如下: 支持自定义附件在桶的存储位置。