检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击告警上报的JobHistory2x,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > JobHistory2x内存使用率统计”,单击“确定”,查看JobHistory2x进程使用的堆内存是
登录主OMS节点,执行以下命令重启OMS。 sh ${BIGDATA_HOME}/om-server/om/sbin/restart-oms.sh 提示以下信息表示命令执行成功: start HA successfully. 等待一段时间后重新登录Manager。 父主题: 登录集群Manager常见异常问题
不中断。 批次容错阈值 0 滚动重启实例批次执行失败容错次数,默认为0,即表示任意一个批次的实例重启失败后,滚动重启任务终止。 组件重启参考信息 当前MRS集群中,服务和实例是否支持滚动重启如表2所示。 表2 服务和实例是否支持滚动重启 服务 实例 是否支持滚动重启 Alluxio
OM_CLUSTERS;,查看集群信息。 查看图中upgradObservationPeriod isON值是否为true,如图1所示。 是,表示系统当前处于升级观察期,请使用UpdateTool工具提交该次升级,具体操作参考相应版本的升级指导书。 否,执行6。 图1 集群信息 等待第二天凌晨,查看告警是否清除。
将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息,格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper
cn=pg_search_dn,ou=Users,dc=hadoop,dc=com -e ppolicy 输入LDAP用户pg_search_dn的密码,出现如下提示表示该用户被锁定,则需要解锁用户,具体请参见解锁MRS集群LDAP管理账户。 ldap_bind: Invalid credentials (49);
Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”,单击告警上报的HiveServer,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存”,勾选“HiveServer内存使用率统计” ,单击“确定”,查看HiveServer进
Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”,单击告警上报的HiveServer,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > GC”,勾选“HiveServer的GC时间” ,单击“确定”,查看GC时间是否大于12秒。 是,执行4。
Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”,单击告警上报的HiveServer,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存”,勾选“HiveServer内存使用率统计” ,单击“确定”,查看HiveServer进
如需自动扩缩容,将“高级配置”中的“是否开启动态伸缩”开关置于“是”,并参考表1配置参数,开启动态伸缩: 处于“运行中”的计算实例会即时根据设置的动态伸缩参数进行扩缩容;其他状态的计算实例仅保存配置,保存的配置将在计算实例重启时生效。 表1 动态伸缩参数说明 参数 描述 取值样例 负载采集周期 每
hdfs”关键字确认Flume Sink是否是HDFS类型。 是,执行2。 否,执行3。 在FusionInsight Manager的告警列表中查看是否有“HDFS服务不可用”告警产生,服务列表中HDFS是否已停止。 是,如果有告警参考ALM-14000 HDFS服务不可用”的处理步骤处理该故障;如果HDFS已停止,启动HDFS服务,执行7。
当执行结果输出到文件或者其他由Flink应用程序指定途径,您可以通过指定文件或其他途径获取到运行结果数据。以下用Checkpoint、Pipeline和配置表与流JOIN为例: 查看Checkpoint结果和文件 结果在flink的“taskmanager.out”文件中,用户可以通过Flink的WebUI查看“task
builder() .appName("KafkaWordCount") .getOrCreate(); //创建表示来自kafka的输入行流的DataSet。 Dataset<String> lines = spark .readStream()
builder() .appName("KafkaWordCount") .getOrCreate(); //创建表示来自kafka的输入行流的DataSet。 Dataset<String> lines = spark .readStream()
单击“Kill”,将当前拓扑删除,需要输入执行操作的等待时间,单位为秒。 采样、停止采样拓扑消息 单击“Debug”,在弹出窗口输入流数据采样消息的数值,单位为百分比,表示从开始采样到停止采样这段时间内所有数据的采集比例。例如输入“10”,则采集比例为10%。 如果需要停止采样,则单击“Stop Debug”。
Flink应用开发流程介绍 Flink应用程序开发流程 Flink开发流程参考如下步骤: 图1 Flink应用程序开发流程 表1 Flink应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Flink的基本概念。 Flink基本概念 准备开发和运行环境
Flink应用开发流程介绍 Flink应用程序开发流程 Flink开发流程参考如下步骤: 图1 Flink应用程序开发流程 表1 Flink应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Flink的基本概念。 基本概念 准备开发和运行环境 Fl
<configuration xmlfile>:指向configuration配置文件。 <tablename>:表示要操作的表名。 <inputdir>:表示要批量上传的数据目录。 例如执行以下命令: hbase com.huawei.hadoop.hbase.tools.bulkload
等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行3。 检查CPU使用率是否达到上限。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的节点地址。 进入“主机”界面,单击告警的所在节点。 在界面观察“主机CPU使用率”实时数据5分钟左右,若
Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击告警上报的JDBCServer2x,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > JDBCServer2x内存使用率统计”,单击“确定”,查看JDBCServer2x进程使用的非堆内存