检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark SQL样例程序(Python) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见SparkSQLPythonExample: # -*- coding:utf-8 -*- import sys from
的下拉菜单,选择“定制 > GC > PolicySync垃圾回收(GC)时间”,单击“确定”。 图1 PolicySync垃圾回收(GC)时间 查看PolicySync每分钟的垃圾回收时间统计值是否大于告警阈值(默认12秒)。 是,执行4。 否,执行6。 在FusionInsight
定制 > 垃圾回收”,勾选“DataNode垃圾回收(GC)时间”。查看DataNode每分钟的垃圾回收时间统计情况。 图1 DataNode垃圾回收(GC)时间 查看DataNode每分钟的垃圾回收时间统计值是否大于告警阈值(默认12秒)。 是,执行4。 否,执行7。 在FusionInsight
“定位信息”中查看角色名并确定实例的IP地址。 选择“集群 > 服务 > IoTDB > 实例”,需单击1获取到的IP地址对应的ConfigNode,在“概览”界面查看“ConfigNode垃圾回收(GC)总时间”图表中的ConfigNode进程的GC时间是否大于阈值。 如果界面
HBase文件丢失导致Region状态长时间为RIT 用户问题 数据迁移到新集群后,HBase的Region状态为RIT或FAILED_OPEN。 原因分析 登录到集群的Core节点查看RegionServer日志,报错: “Region‘3b3ae24c65fc5094bc2a
Spark SQL样例程序(Python) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见SparkSQLPythonExample: # -*- coding:utf-8 -*- import sys from
Spark SQL样例程序(Python) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见SparkSQLPythonExample: # -*- coding:utf-8 -*- import sys from
定制 > 垃圾回收”,勾选“NameNode垃圾回收(GC)时间”。查看NameNode每分钟的垃圾回收时间统计情况。 图1 NameNode垃圾回收(GC)时间 查看NameNode每分钟的垃圾回收时间统计值是否大于告警阈值(默认12秒)。 是,执行4。 否,执行7。 在FusionInsight
拉菜单,选择“定制 > GC > TokenServer垃圾回收(GC)时间”,单击“确定”。 图1 TokenServer垃圾回收(GC)时间 查看TokenServer每分钟的垃圾回收时间统计值是否大于告警阈值(默认12秒)。 是,执行4。 否,执行6。 在FusionInsight
Coordinator进程垃圾收集时间超出阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统每30s周期性采集Presto Coordinator进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。当 Coordinator进程GC时间小于或等于告警阈值时,告警清除。
选中“告警ID”为“43009”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JobHistory(对应上报告警实例IP地址) > 定制 > JobHistory的GC时间”。单击“确定”,查看GC时间。 查看JobHistory进程的GC时间是否大于12秒。
当配置channel过期时间(spark.rpc.io.connectionTimeout) < RPC响应超时时间(spark.rpc.askTimeout),在特殊条件下(Full GC,网络延时等)消息响应时间较长,消息还没有反馈,channel又达到了过期时间,该channel
垃圾回收”,勾选“NodeManager垃圾回收(GC)时间”。查看NodeManager每分钟的垃圾回收时间统计情况。 图1 定制NodeManager垃圾回收(GC)时间 查看NodeManager每分钟的垃圾回收时间统计值是否大于告警阈值(默认12秒)。 是,执行4。 否,执行7。
选中“告警ID”为“44005”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 单击“组件管理 > Presto > 实例 > Coordinator(对应上报告警实例IP地址) > 定制 > Presto进程GC时间”。单击“确定”,查看GC时间。 查看Coordinator进程的GC时间是否大于5秒。
--connect 指定JDBC连接的URL,格式为:jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存在安全风险
选中“告警ID”为“44006”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 单击“组件管理 > Presto > 实例 > Worker(对应上报告警实例IP地址) > 定制 > Presto进程GC时间”。单击“确定”,查看GC时间。 查看Worker进程的GC时间是否大于5秒。 是,执行1
域右上角的下拉菜单,选择“定制 > GC > UserSync垃圾回收(GC)时间”,单击“确定”。 图1 UserSync垃圾回收(GC)时间 查看UserSync每分钟的垃圾回收时间统计值是否大于告警阈值(默认12秒)。 是,执行4。 否,执行6。 在FusionInsight
lickHouse客户端使用实践。 执行如下命令查看正在执行的SQL任务,查看当前的并发数: select count(*) from system.processes; 确认获得值大于等于100。 执行如下命令结束正在执行的查询类大SQL: kill query where query_kind='Select'
catalogs命令,确认可以查询Presto的数据源列表。 执行show schemas from mysql命令即可查询MySQL数据库。 MRS 2.x版本。 创建“mysql.properties”配置文件,内容如下: connector.name=mysql connection
读取数据。其是传入参数argv[1]指定数据路径 - text 2.筛选女性网民上网时间数据信息 - filter 3.汇总每个女性上网时间 - map/map/reduceByKey 4.筛选出时间大于两个小时的女性网民信息 - filter """ inputPath =