检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sssd/sssd_be、/usr/libexec/sssd/sssd_nss、/usr/libexec/sssd/sssd_pam。 父主题： 使用Spark
apache.org/docs/r3.3.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 父主题： Spark Core
创建IAM用户并授权使用MRS 如果您需要对您所拥有的MapReduce服务（MapReduce Service）进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下。 以HDFS文本文件为输入数据 log1.txt：数据输入文件
创建FlinkServer作业写入数据至HBase表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 FlinkServer支持对接HBase，详情如下： 支持对接维表、Sink表。 当HBase与Flink为同一集群或互信的集群，支持FlinkServer对接HBase。
Spark从HBase读取数据再写入HBase样例程序（Python） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关ap
Spark从HBase读取数据再写入HBase样例程序（Python） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关ap
Spark从HBase读取数据再写入HBase样例程序（Python） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关ap
安全集群执行set命令的时候报错“Cannot modify xxx at runtime” 问题现象 执行set命令时报以下错误： 0: jdbc:hive2://192.168.1.18:21066/> set mapred.job.queue.name=QueueA; Error:
通过Hive beeline命令行执行插入命令的时候报错 问题现象 在MRS Hive的beeline中执行insert into插入语句时系统报以下错误： Mapping run in Tez on Hive transactional table fails when data
“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。 父主题： MRS集群告警处理参考
HBase故障排除 HBase客户端连接服务端时，长时间无法连接成功 在HBase连续对同一个表名做删除创建操作时出现创建表异常 HBase占用网络端口，连接数过大会导致其他服务不稳定 有210000个map和10000个reduce的HBase BulkLoad任务运行失败 使
Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功
Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功
配置Spark任务不获取HBase Token信息 配置场景 使用Spark提交任务时，Driver默认会去HBase获取Token，访问HBase则需要配置文件“jaas.conf”进行安全认证。此时如果用户未配置“jaas.conf”文件，会导致应用运行失败。 因此，根据应用是否涉及HBase进行以下处理：
Kafka：Source、Sink HDFS：Source、Sink - 数据连接 选择数据连接。 - Topic 读取的Kafka的topic，支持从多个Kakfa topic中读取，topic之间使用英文分隔符进行分隔。 “映射表类型”选择“Kafka”时存在此参数。 - 文件路径 要传输的HDFS目录或单个文件路径。
LdapServer LdapServer主备倒换 次要 27000 DBService DBServer主备倒换 次要 38003 Kafka Topic数据保存周期配置调整 提示 43014 Spark Spark 数据倾斜 提示 43015 Spark Spark SQL 超大查询结果
logStageExecutorMetrics 是否将executor metrics的每个stage峰值（针对每个executor）写入event log。 false 父主题： Spark运维管理
168.43.161:29888/hive/default [('default',), ('information_schema',)] 父主题： 调测HetuEngine应用
executor进程会内存溢出 支持提交作业，manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
