检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataStream样例程序。 假定用户有某个网站周末网民网购停留时间的日志文本,另有一张网民个人信息的csv格式表,可通过Flink应用程序实现例如实时统计总计网购时间超过2个小时的女性网民信息,包含对应的个人详细信息的功能。 FlinkStreamScalaExample FlinkStreamSqlJoinExample
DBService服务异常。 Yarn服务异常。 Mapreduce服务异常。 环境故障:网络异常,Loader服务无法与其依赖的内部服务通信,无法提供服务。 软件故障:Loader服务无法正常运行。 处理步骤 检查ZooKeeper服务状态。 登录MRS集群详情页面,选择“组件管理”。 选择“Zoo
造成服务数据无法写入,业务系统运行不正常。 可能原因 硬盘被拔出。 硬盘离线、硬盘坏道等故障。 处理步骤 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警所在行。 在“告警详情”区域,从“定位信息”中获取“HostName”、“PartitionName”和“DirName”。
Flink异步Checkpoint样例 20:35 Flink异步Checkpoint样例 MapReduce服务 MRS Flink实现配置表与实时流join的样例 29:34 Flink实现配置表与实时流join的样例 MapReduce服务 MRS Flink读写Kafka样例 23:07 Flink读写Kafka样例
FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。 用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。 执行以下命令在HDFS中创建一个远程仓库example_repo: 集群已启用Kerberos认证(安全模式)
Syslog”。 开启“Syslog服务”开关。 MRS 3.x之前版本 登录MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,开启“Syslog配置”开关。 根据表1所示的说明填写北向参数。 表1 Syslog对接参数 参数区域 参数名称 参数说明
待操作集群的名称 > 服务 > HDFS”,单击图表区域右上角的下拉菜单,选择“定制 > 文件和块”,勾选“HDFS文件”和“HDFS块数”监控项查看。 在“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”中查找“NameNode”下的GC_OPTS参数。
配置”,界面上将显示该实例支持的所有参数分类。 在导航树选择指定的参数分类,并在右侧修改参数值。 支持在右上角输入参数名,Manager将实时进行搜索并显示结果。 单击“保存”,并在确认对话框中单击“确定”。 MRS 2.x及之前版本,请单击“保存配置”,勾选“重启角色实例”并单击“确定”,重启角色实例。
FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。 用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。 从远端已备份数据的仓库中恢复表或分区数据。例如: 从example_repo中恢复备份snap
SparkHbasetoCarbonJavaExample Spark同步HBase数据到CarbonData的Java示例程序。 本示例工程中,应用将数据实时写入HBase,用于点查业务。数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 SparkHbasetoHbaseJavaExample
或Hive元数据的备份恢复任务中,如果选择将数据备份在备集群HDFS中,系统将调用DistCp完成操作。主备集群请选择安装相同版本的MRS软件版本并安装集群系统。 DistCp使用Mapreduce来影响数据的分布、异常处理及恢复和报告,此工具会把指定列表中包含的多个源文件和目录
分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。 /logout 注销的重要信息。 /overview Flink集群状态的简单概要。 /jobs Job的
FlinkServer HA脚本相关运行日志(MRS 3.2.0及以后版本) ha.log HA运行日志。 ha_monitor.log HA进程监控日志。 floatip_ha.log FloatIP资源脚本日志。 rcommflinkserver.log FlinkServer资源脚本日志。
该节点配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查堆内存配置。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,在实时告警列表中,单击此告警前的,在“定位信息”中查看角色名并确定实例的IP地址。 选择“集群 > 服务 > IoTDB > 实例”,需单击1获
DBService服务异常。 Yarn服务异常。 Mapreduce服务异常。 环境故障:网络异常,Loader服务无法与其依赖的内部服务通信,无法提供服务。 软件故障:Loader服务无法正常运行。 处理步骤 检查ZooKeeper服务状态。 在FusionInsight Manager首页,选择“集群
分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。 /logout 注销的重要信息。 /overview Flink集群状态的简单概要。 /jobs Job的
“-l”:可选参数,表示日志目录,默认值为“/var/log/Bigdata”。 “-e”:可选参数,表示Flume实例的业务IP地址,主要用于接收客户端上报的监控指标信息。 “-n”:可选参数,表示自定义的Flume客户端的名称。 IBM的JDK不支持“-Xloggc”,需要修改“flume/conf/flume-env
该节点配置的堆内存不合理,导致使用率超过阈值。 处理步骤 检查堆内存配置。 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,在实时告警列表中,单击此告警前的,在“定位信息”中查看角色名并确认实例的IP地址。 选择“集群 > 服务 > IoTDB > 实例”,单击1获取
分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。 /logout 注销的重要信息。 /overview Flink集群状态的简单概要。 /jobs Job的
分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。 /logout 注销的重要信息。 /overview Flink集群状态的简单概要。 /jobs Job的