检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录MRS集群,进入ClickHouse实例所在的节点,查看“/var/log/Bigdata/clickhouse”目录下的“clickhouse-server.log”日志文件,发现以下报错: 进入到其他ClickHouse节点也发现了同样的报错日志,由此可知Kafka消息堆积
e-1.9.0/flume/bin/flume-manage.sh: Permission denied 解决办法 与运行正常的Flume节点进行文件和文件夹权限对比,更改错误文件或文件夹权限。 父主题: 使用Flume
Kafka部分节点处于停止或者故障状态。 启动停止的Broker实例。 客户端查询命令,无Topic:test。 kafka-topics.sh --list --zookeeper 192.168.0.122:24002/kafka 进入RunningAsController节点日志目录,在controller
设置SSL加密的算法。 如下参数MRS的Flink默认配置没有,用户可以根据需要进行添加,外部连接开启SSL,YARN的代理无法访问Flink页面。这是由于YARN不支持https代理。配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 参数 参数值示例
Command介绍 您可以使用YARN Commands对YARN集群进行一些操作,例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档: http://hadoop.apache.org/docs/r3
操作场景 在程序代码完成开发后,可以把代码编译成jar包,上传到Linux环境进行程序功能调试。 在Linux环境上调测程序前,需在Linux节点预安装客户端。 操作步骤 在Windows环境的开发环境IntelliJ IDEA中,在“Maven Projects > JDBCExample
否,执行4。 修改“/opt/Bigdata/tmp”目录权限 以root用户依次登录Master1、Master2节点。 查看Master1、Master2节点的“/opt/Bigdata/tmp”路径权限是否被修改。(权限默认为770) 如果被修改请执行以下命令恢复“/opt/Bigdata/tmp”路径权限。
Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点,执行如下命令: cd {客户端安装目录} source bigdata_env source Hudi/component_env kinit
上,可以通过设置peerType=observer来增加observer的数目。 通过控制单个任务并发的map数或减少每个节点下运行task的内存,降低节点负载。 升级ZooKeeper数据磁盘,如SSD等。 父主题: HBase故障排除
Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点,执行如下命令: cd {客户端安装目录} source bigdata_env source Hudi/component_env kinit
使用root用户登录主备OMS节点,切换至omm用户,执行命令sh ${BIGDATA_HOME}/om-0.0.1/sbin/restart-oms.sh重启OMS服务。 主备OMS节点都需要重启。 MRS 1.9.2.2补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端
Hive WebHCat接口介绍 以下示例的IP为WebHCat所在节点的业务IP,端口为安装时设置的WebHCat HTTP端口。 除“:version”、“status”、“version”、“version/hive”、“version/hadoop”以外,其他API都需要添加user
ostname和hostname -i获取不到正确的IP和hostname。 解决办法 将修改了节点的hostname全部修改为集群初始的hostname。 排查WebHCat所在节点的“/etc/hosts”是否配置正确。 重启WebHCat。 父主题: 使用Hive
步骤1:在MRS集群外节点安装客户端 步骤2:安装Python3 步骤3:安装Jupyter Notebook 步骤4:验证Jupyter Notebook访问MRS 本实践仅适用于MRS 3.x及之后版本,且在集群外客户端节点中安装Python3。 步骤1:在MRS集群外节点安装客户端
等上层部件提供服务。用户无法读写文件。 可能原因 KrbServer服务异常。 JournalNode节点故障。 DataNode节点故障。 磁盘容量不足。 NameNode节点进入安全模式。 处理步骤 检查KrbServer服务状态。 在FusionInsight Manager首页,选择“集群
参数 是否必选 参数类型 描述 node_group_name 是 String 参数解释: 节点组名称。 约束限制: 如果resource_pool_name为default,则删除节点组维度的弹性伸缩策略。 取值范围: 不涉及 默认取值: 不涉及 resource_pool_name
上,可以通过设置peerType=observer来增加observer的数目。 通过控制单个任务并发的map数或减少每个节点下运行task的内存,降低节点负载。 升级ZooKeeper数据磁盘,如SSD等。 父主题: HBase故障排除
Impala启用并配置动态资源池 本文介绍如何使用动态资源池控制impala并发。 问题背景 客户需要使用动态资源池控制impala并发。 登录到集群的master1节点上,然后切换到omm用户下,在/home/omm目录下创建fair-scheduler.xml、llama-site.xml文件。 打开fair-scheduler
shuffle服务连接特定IP,可以参考该章节进行配置。 配置描述 当需要MapReduce shuffle服务绑定特定IP时,需要在NodeManager实例所在节点的配置文件“mapred-site.xml”中(例如路径为:${BIGDATA_HOME}/FusionInsight_HD_xxx/x_
产生告警的主机名。 对系统的影响 ommdba密码过期,Manager各节点互信不可用,无法对服务提供管理功能。 可能原因 该主机ommdba密码过期。 处理步骤 检查系统中ommdba密码是否过期。 以root用户登录集群故障节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行chage