检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提供了样例工程。 帮助用户快速了解MapReduce各部件的编程接口。 MapReduce统计样例程序开发思路 MapReduce访问多组件样例程序开发思路 编译并运行程序 指导用户将开发好的程序编译并提交运行。 编译并运行MapReduce应用 查看程序运行结果 程序运行结果会写在用户指定的路
Serdes.Long())); } // 用户自己申请的机机账号keytab文件名称 private static final String USER_KEYTAB_FILE = "请修改为真实keytab文件名"; // 用户自己申请的机机账号名称 private static
处理步骤 登录Manager,停止HDFS服务。 在停止HDFS时,建议不要停止相关服务。 停止成功后,登录到被修改了RPC端口的Master节点。 如果两个Master节点都被修改了RPC端口,则只需登录其中一个修改即可。 执行su - omm命令切换到omm用户。 如果是安全集群,需要执行kinit
应用客户端,通常是需要提交任务(或者作业)的应用程序。 Application Server 应用服务端,通常是应用客户端需要访问的应用程序。 Kerberos 提供安全认证的服务。 KerberosAdmin 提供认证用户管理的进程。 KerberosServer 提供认证票据分发的进程。 步骤原理说明: 应用客户端(Application
管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件,详情请参考准备连接HBase集群配置文件。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src/hbase-examples”目录下的
Flume正常连接Kafka后发送消息失败 问题现象 使用MRS版本安装集群,主要安装ZooKeeper、Flume、Kafka。 在使用Flume向Kafka发送数据功能时,发现Flume发送数据到Kafka失败。 可能原因 Kafka服务异常。 Flume连接Kafka地址错误,导致发送失败。
HBase客户端连接服务端时,长时间无法连接成功 问题 在HBase服务端出现问题,无法提供服务,此时HBase客户端进行表操作,会出现该操作挂起,长时间无任何反应。 回答 问题分析 当HBase服务端出现问题,HBase客户端进行表操作的时候,会进行重试,并等待超时。该超时默认值为Integer
HBase客户端连接服务端时长时间无法连接成功 问题 在HBase服务端出现问题,无法提供服务,此时HBase客户端进行表操作,会出现该操作挂起,长时间无任何反应。 回答 问题分析 当HBase服务端出现问题,HBase客户端进行表操作的时候,会进行重试,并等待超时。该超时默认值为Integer
在运行Colocation工程时,需要设置运行用户,此用户需绑定supergroup用户组。 在运行Colocation工程时,HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。 初始化 使用Colocation前需要设置运行用户。 private static
在运行Colocation工程时,需要设置运行用户,此用户需绑定supergroup用户组。 在运行Colocation工程时,HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。 初始化 使用Colocation前需要设置运行用户。 private static
ALM-43029 JDBCServer作业提交超时 本章节仅适用于MRS 3.5.0及之后版本。 告警解释 用户提交JDBC作业后,会尝试创建JDBCServer进程,并建立Session连接,在建立连接成功前,如果超出预设阈值,则会发出该告警。与该告警相关的配置参数有两个: spark.thriftserver
ent实例,进行从location创建group、删除group、写文件和删除文件的操作。 使用Colocation功能,用户指定了DataNode,会造成某些节点上数据量很大。数据倾斜严重,导致HDFS写任务失败。 由于数据倾斜,导致MapReduce只会在某几个节点访问,造成这些节点上负载很大,而其他节点闲置。
ent实例,进行从location创建group、删除group、写文件和删除文件的操作。 使用Colocation功能,用户指定了DataNode,会造成某些节点上数据量很大。数据倾斜严重,导致HDFS写任务失败。 由于数据倾斜,导致MapReduce只会在某几个节点访问,造成这些节点上负载很大,而其他节点闲置。
在Ranger管理界面查看不到创建的MRS用户 问题 在MRS Manager界面创建了一个账户,登录到Ranger管理界面后查看不到该用户。 回答 登录到Ranger管理界面的用户权限不够,需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户。 在Ranger WebUI界面,单击右上角用户名,选择“Log
如果这个文件中的值大于3就会启动失败,NodeAgent会一直尝试重启该实例,此时仍会失败而且这个值每启动失败一次就会加1。 解决办法 登录Manager管理界面。 停止该DBServer实例。 使用omm用户登录到DBServer实例异常的节点。 修改“${BIGDATA_HOME}/MRS
步骤二:在自建数据库中建表及赋权 在自建数据库中创建用户、元数据库,并为用户赋予该库的所有权限。例如: 以数据库管理员用户在Postgres中执行以下命令创建数据库“test”和用户“testuser”,并授予“test”数据库的所有权限给“testuser”用户。 create user testuser
Flume直接内存使用率超过阈值”,检查该告警的“定位信息”。查看告警上报的实例主机名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Flume > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > Agent
Kerberos认证 登录Manager管理页面时是否启用Kerberos认证。 不开启 用户名 Manager管理员用户,目前默认为admin用户。 admin/root 密码 配置Manager管理员用户的密码。 设置密码登录集群管理页面及ECS节点用户的密码,例如:Test
SSH,Java以及Oozie子流程。 Oozie开源增强特性 安全增强: 支持Oozie权限管理,提供管理员与普通用户两种角色。 支持单点登录登出,HTTPS访问以及审计日志。 父主题: 组件介绍
Processor<String, String>() { // ProcessorContext实例,它提供对当前正在处理的记录的元数据的访问 private ProcessorContext context; private