检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
where条件以及索引等设置不合理问题，导致SQL查询很慢，影响数据库的整体性能。针对该场景，MRS提供了ClickHouse慢查询语句的监控功能。 正在进行的慢查询 当前还在执行没有返回结果的慢SQL语句信息可以通过该界面查询。 慢查询菜单路径 MRS 3.2.0之前版本：登录FusionInsight
不同组件的访问策略配置样例参考： 添加HDFS的Ranger访问权限策略 添加HBase的Ranger访问权限策略 添加Hive的Ranger访问权限策略 添加Yarn的Ranger访问权限策略 添加Spark2x的Ranger访问权限策略 添加Kafka的Ranger访问权限策略 添加Storm的Ranger访问权限策略
步”进行IAM用户同步）。 添加删除集群组件步骤 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在集群详情页，选择“组件管理 > 添加服务”。 在服务列表中，勾选需要添加的服务，单击“下一步”。 添加服务时，该服务依赖的下层服务也会自动勾选，可以同时添加多个服务。
添加HBase二级索引 功能介绍 您可以使用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中提供的方法来管理HIndexes。 该类提供了将索引添加到现有表的方法： 根据用户是否希望在添加索引操作期间构建索引数据，有两种不同的方法可将索引添加到表中：
Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。
为组件添加新的参数，添加的新参数最终将保存在组件的配置文件中并在重启后生效。 操作视频 本视频分别介绍了通过MRS管理控制台或FusionInsight Manager界面修改服务参数的操作过程。 因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。 添加组件自定义参数前提条件
集群运维 告警管理 MRS可以实时监控大数据集群，通过告警和事件可以识别系统健康状态。同时MRS也支持用户自定义配置监控与告警阈值用于关注各指标的健康情况，当监控数据达到告警阈值，系统将会触发一条告警信息。 MRS还可以与华为云消息通知服务(SMN)的消息服务系统对接，将告警信息
如需给其他用户开通访问MRS Manager的权限，请执行6-9，添加对应用户访问公网的IP地址为可信范围。 单击弹性公网IP后边的“添加安全组规则”，如图3所示。 图3 集群详情 进入“添加安全组规则”页面，添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的授权对
其他配置参数详细信息，请参见购买弹性云服务器。 如果ECS的安全组和Master节点的“默认安全组”不同，用户可以选择以下任一种方法修改配置： 将ECS的安全组修改为Master节点的默认安全组，请参见更改安全组。 在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问集群，
parentDir 指定服务器上用户自定义已经存在的数据监控目录。 查看Flume Agent运行用户对步骤13所指定的监控目录是否有可读可写可执行权限。 是，执行17。 否，执行16。 使用Flume运行用户进入监控目录，若可以创建文件，这说明Flume运行用户是否对该监控目录具有可读可写可执行权限。
Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default.conf配置文件中，在spark
Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default.conf配置文件中，在spark
Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。
Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-defaults.conf配置文件中，在spark
如何给集群内用户添加租户管理权限？ 分析集群和混合集群支持添加租户管理权限，流式集群不支持添加租户管理权限。给新建账号添加租户管理权限方法如下： MRS 3.x之前版本： 登录MRS Manager。 在“系统设置 > 用户管理”中选择新建的用户，单击“操作”列中的“修改”。 在
UI的一些指标，提供用户一种更简单的方法去创建新的展示和监控的工具，并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Stages、Storage、Environment和Executors的信息进行查询，MRS版本中添加了查询SQL、JDBC/ODBC
Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。
dir 监控Hive作业的大目录监控路径，不允许监控根目录。 如果需要监控的目录包含用户目录等可变目录使用/*/代替。 hdfs://hacluster/tmp/hive-scratch/*/ hive.job.appId.parser.rule 监控Hive作业的大目录监控路径中作业ID的提取规则。例如：
spark.blacklist.*. 原因分析 内存不足或提交作业时未添加Jar包，导致Spark提交的作业任务长时间处于pending状态。 处理步骤 检查提交作业时是否添加Jar包。 是，执行2。 否，添加Jar包，执行作业正常，操作结束。如果执行作业任务长时间处于pending状态，执行2。
nTSDB的设计目标是用来采集大规模集群中的监控类信息，并可实现数据的秒级查询，解决海量监控类数据在普通数据库中查询存储的局限性。 OpenTSDB使用场景有如下几个特点： 采集指标在某一时间点具有唯一值，没有复杂的结构及关系。 监控的指标具有随着时间不断变化的特点。 具有HBase的高吞吐，良好的伸缩性等特点。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
