检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JDBC任务执行变慢或失败。 可能原因 该节点JDBCServer2x进程非堆内存使用率过大,或配置的非堆内存不合理,导致使用率超过阈值。 处理步骤 检查非堆内存使用率 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43011”的告
主备Manager节点间链路中断,/srv/BigData/LocalBackup目录存储空间已满。 同步文件不存在,或者文件权限有误。 处理步骤 检查主备Manager服务器间的网络是否正常。 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击
业务失败:磁盘容量不足时,如果需要修改或使用该磁盘上的数据,可能会导致作业运行失败。 可能原因 告警阈值配置不合理。 磁盘配置无法满足业务需求,磁盘使用率达到上限。 处理步骤 检查阈值设置是否合理。 在FusionInsight Manager选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 >
已成功安装集群,包含HDFS及Flume服务。 确保集群网络环境安全。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择用户flume_hdfs,选择“更多 > 下
Storm-HBase开发指引 操作场景 本章节只适用于Storm和HBase交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和HBase组件已经安装,并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境,请参见准备Storm应用开发环境。
进程不可用时仅会造成无法查询Spark任务历史执行记录。 可能原因 该节点JobHistory2x进程直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43008”的告
on业务执行变慢或失败。 可能原因 该节点IndexServer2x进程堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。 处理步骤 检查堆内存使用率 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43019”的告警
业务执行变慢或失败。 可能原因 该节点IndexServer2x进程直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43021”的告
该节点与主OMS节点NTP服务不能正常同步时间。 该节点NTP认证的key值与主OMS节点NTP服务的key值不一致。 该节点与主OMS节点NTP服务时间偏差太大。 处理步骤 检查该节点的NTP服务是否正常启动。 检查ntpd进程是否运行在告警节点上。登录告警节点,执行sudo su - root切换用户。执行
开发思路 查询table1表的数据。 根据table1表数据的key值去table2表做查询。 把前两步相应的数据记录做相加操作。 把上一步骤的结果写到table2表。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件(user.keytab、krb5.conf)。user
员权限以及Yarn队列资源管理权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn”。 选择“配置 > 全部配置”,搜索参数“yarn
已成功安装集群,包含HDFS及Flume服务。 确保集群网络环境安全。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择用户flume_hdfs,选择“更多 > 下
已成功安装集群,包含HDFS及Flume服务。 确保集群网络环境安全。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume
已创建HBase表:create 'flume_test', 'cf'。 MRS集群管理员已明确业务需求,并准备一个HBase管理员用户flume_hbase。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume
已创建HBase表:create 'flume_test', 'cf'。 MRS集群管理员已明确业务需求,并准备一个HBase管理员用户flume_hbase。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume
ht_Cluster_<集群ID>_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 后续步骤及章节以FusionInsight_Cluster_1_Services_Client.tar进行举例。 复制客户端安装包至当前节点的其他
12005000208 H 女 30 H城市 12005000209 I 男 26 I城市 12005000210 J 女 25 J城市 操作步骤 下载客户端配置文件。 MRS 3.x之前版本,操作如下: 登录MRS Manager页面,具体请参见访问集群Manager,然后选择“服务管理”。
/opt/kafkaclient 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证(普通模式跳过此步骤)。 kinit 组件业务用户 执行以下命令,切换到Kafka客户端目录。 cd Kafka/kafka/bin 执行以下命令,查看待迁移
COW表。每次写操作之后,还将展示如何读取快照和增量数据。 前提条件 在Manager界面创建用户并添加hadoop和hive用户组,主组加入hadoop。 操作步骤 下载并安装Hudi客户端,具体请参考安装客户端(3.x及之后版本)章节。 目前Hudi集成在Spark2x中,用户从Manager页面下
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关,本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍,详情请参见表1和表2。 表1 Shuffle过程中,启动Task的个数 参数 spark.sql