检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加的新参数最终将保存在组件的配置文件中并在重启后生效。 操作视频 本视频分别介绍了通过MRS管理控制台或FusionInsight Manager界面修改服务参数的操作过程。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 添加组件自定义参数前提条件 用户
量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。 发布区域:全部。 了解MRS产品架构 MRS组件版本一览表 MRS服务介绍【视频】 集群管理 使用MRS的首要操作就是购买集群,MRS提供不同的快速创建和自定义创建集群的方式,满足您快速创建集群或个性化定制集群配置的需求。
中一种,也可以叠加使用。 视频介绍 配置MRS集群弹性伸缩操作案例可参考配置MRS集群弹性伸缩操作视频,该视频以MRS 3.1.0版本集群为例,介绍如何在购买集群时配置弹性伸缩、如何为已有集群新增弹性伸缩策略。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。
此您可以轻松地单独或成组地绘制它们。标签的一个常见用法是使用生成数据点的机器名称以及机器所属的集群或池的名称来注释数据点。这使您可以轻松地制作显示每个服务器的服务状态的仪表盘,以及显示跨逻辑服务器池的聚合状态的仪表盘。 OpenTSDB系统表简介 OpenTSDB是基于HBase
访问MRS集群Manager前,确保集群不处于启动中、停止中、停止、删除中、已删除、冻结状态。 操作视频 本视频为您介绍如何为MRS集群绑定弹性公网IP,并访问集群中组件的WebUI页面。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 通过弹性公网IP访问MRS集群Manager 登录MRS管理控制台页面。
MRS集群所在VPC部署了VPCEP后集群补丁安装失败 问题现象 通过MRS管理控制台为MRS集群在线安装补丁,补丁安装失败,报错日志信息中提示访问OBS 403无权限。 原因分析 用户集群所在VPC中,部署并配置了VPC终端节点(VPCEP)。相关的终端节点策略中,未允许MRS
MRS作业类型介绍 MRS作业分类 MRS作业是MRS为用户提供的程序执行平台,用于处理和分析用户数据。用户可以在MRS管理控制台中在线创建作业任务,也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS,用户创建作业前需要将待分析数据上传至OBS
对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学习、持续计算和分布式ETL等,易扩展、支持容错,可确保数据得到处理,易于构建和操控。 Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高
ver/OMS/workspace/data”。 第一次转存告警时自动生成目录。 操作视频 本视频将分别为您介绍查看告警和事件信息及配置告警阈值的操作。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 通过管理控制台查看与清除告警 登录MRS管理控制台。 选
责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学习、持续计算和分布式ETL等,易扩展、支持容错,可确保数据得到处理,易于构建和操控。 Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高
责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学习、持续计算和分布式ETL等,易扩展、支持容错,可确保数据得到处理,易于构建和操控。 Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高
版本支持公告 MRS集群版本生命周期
HDFS常见问题 执行distcp命令报错如何处理 HDFS执行Balance时被异常停止如何处理 访问HDFS WebUI时,界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象
HBase性能调优 提升HBase BulkLoad工具批量加载效率 提升HBase连续Put数据场景性能 提升HBase Put和Scan性能综合调优 提升HBase实时写数据效率 提升HBase实时读数据效率 HBase JVM参数优化说明 父主题: 使用HBase
使用Hue提交Oozie作业 使用Hue创建工作流 使用Hue提交Oozie Hive2作业 使用Hue提交Oozie HQL脚本 使用Hue提交Oozie Spark2x作业 使用Hue提交Oozie Java作业 使用Hue提交Oozie Loader作业 使用Hue提交Oozie
Oozie常见问题 Oozie定时任务没有准时运行如何处理 HDFS上更新了oozie的share lib目录但没有生效 Oozie作业执行失败常用排查手段 父主题: 使用Oozie
Spark Core企业级能力增强 配置Spark HA增强高可用 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 父主题: 使用Spark2x(MRS
输出算子 Hive输出 Spark输出 表输出 文件输出 HBase输出 ClickHouse输出 父主题: 算子帮助