检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Consumer 从Kafka topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题: Kafka开发指南(安全模式)
Consumer 从Kafka Topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题: Kafka开发指南(安全模式)
是否开启自适应执行框架。 false spark.executor.memoryOverhead 每个执行器要分配的堆内存量(单位为兆字节)。 这是占用虚拟机开销的内存,类似于内部字符串,其他内置开销等等。会随着执行器大小(通常为6-10%)而增长。 1GB spark.streaming.kafka
是否开启自适应执行框架。 false spark.executor.memoryOverhead 每个执行器要分配的堆内存量(单位为兆字节)。 这是占用虚拟机开销的内存,类似于内部字符串,其他内置开销等等。会随着执行器大小(通常为6-10%)而增长。 1GB spark.streaming.kafka
Presto中创建schema需要Hive的管理者权限,当前用户权限不足。 处理步骤 MRS Manager界面操作: 方法一: 登录MRS Manager页面,选择“系统设置 > 用户管理”。 在对应用户所在行的“操作”列,单击“修改”。 单击“选择并绑定角色”,为用户添加System_administrator的权限。
安全集群需要认证对HDFS有权限的用户,普通集群无需执行: kinit {用户} 执行以下命令进行回退(卸载完补丁后执行): sh rollback_hdfs_file.sh 回退完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 回退客户端补丁
检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务 登录FusionInsight
MapReduce应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 通过运行结果查看程序运行情况。 登录MapReduce WebUI查看应用程序运行情况。 登录Yarn WebUI查看应用程序运行情况 通过MapReduce日志获取应用程序运行情况。 运行程序 进入样例
Flume客户端无法连接服务端 问题现象 安装Flume客户端并设置Avro Sink与服务端通信,发现无法连接Flume服务端。 原因分析 服务端配置错误,监测端口启动失败,例如服务端Avro Source配置了错误的IP,或者已经被占用了的端口。 查看Flume运行日志: 2016-08-31
DBService状态正常,组件无法连接DBService 问题背景与现象 上层组件连接DBService失败,检查DBService组件状态正常,两个实例状态也正常。 图1 DBService状态 原因分析 上层组件是通过dbservice.floatip连接的DBService。 在D
按年购买:自动续费周期为1年。 在现有集群列表开通自动续费 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。 在需要修改自动续费的集群对应的“操作”列中,选择“更多 > 修改自动续费”根据需求修改自动续费。 在续费管理页面开通自动续费 登录管理控制台。 单击“控制台”页面上方“费用”,在下拉菜单中选择“续费管理”。
检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查Manager是否有正在运行的任务 登录FusionInsight
> 待操作集群的名称 > 服务 > Hive > 实例”,在Hive实例列表中,查看所有HiveServer或MetaStore实例状态是否都呈现未知状态。 是,执行2。 否,执行4。 在Hive实例列表上方,选择“更多 > 重启实例”,重启HiveServer/MetaStore进程。
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,阅读补丁说明,并单击“确定”。 图1 安装补丁 如果任务失败,选择“重试安装”,只有当“状态”显示为“已安装”时,才能进入下一步操作。
相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。
使用Kudu 从零开始使用Kudu 访问Kudu的WebUI
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 FGC时间超出阈值,会影响到数据的读写。 可能原因 该节点实例内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间 用户可通过“运维> 告警 > 阈值设置 > 待操作集群的名称 > Impala > 进程FGCT >
准备集群配置文件 集群创建成功后,登录FusionInsight Manager创建用于提交Flink作业的集群用户。 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面创建一个机机用户,例如flinkuser。 “用户组”需加入“supergroup”用户组,并关联“System_administrator”角色。
Consumer 从Kafka topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题: Kafka开发指南(普通模式)
供安全认证和用户管理功能,可能引起无法登录Manager和组件的WebUI。 可能原因 Manager中LdapServer进程故障。 处理步骤 检查Manager中LdapServer进程是否正常。 以omm用户登录集群中的Manager所在节点主机。 可以通过登录FusionInsight