正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS服务提供了Spark服务多种场景下的样例开发工程,本章节对应示例场景的开发思路: 接收Kafka中数据,生成相应DStream。 对单词记录进行分类统计。 计算结果,并进行打印。 方案架构 Spark Streaming是一种构建在Spark上的实时计算框架,扩展了Spark处理大规模流式
TokenServer垃圾回收(GC)时间”,单击“确定”。 图1 TokenServer垃圾回收(GC)时间 查看TokenServer每分钟的垃圾回收时间统计值是否大于告警阈值(默认12秒)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务 >
U使用率较高;查看FE审计日志“/var/log/Bigdata/audit/doris/fe/fe.audit.log”的Time字段,统计任务平均时长,如果该值也较高,说明此告警是由于大任务并发导致的。 连接Doris后执行以下命令,查看系统默认的queryTimeout时长是否过大,默认值为300秒:
y页面。 图1 集群Summary页面 单击“Brokers”进入Broker监控页面,该页面包括Broker列表和Broker节点的IO统计信息。 图2 Broker监控页面 查看Topic信息 登录KafkaManager的WebUI界面。 在集群列表页面单击对应集群名称进入集群Summary页面。
pc 0x00007fcda9eb8eb1 回答 上述问题在Oracle官网上有类似的情况,该问题现象是Oracle JVM的缺陷,并不是平台代码引入的问题,且Spark中有对Executor的容错机制,Executor Crash之后,Stage会进入重试,可以保证任务最终可以执行完成,不会对业务产生影响。
新安装的集群HBase启动失败 问题背景 新安装的集群HBase启动失败,查看RegionServer日志报如下错误: 2018-02-24 16:53:03,863 | ERROR | regionserver/host3/187.6.71.69:21302 | Master passed
的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kafka-console-consumer.sh --topic
的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kinit 组件操作用户(例如developuser) kafka-console-consumer
执行慢查询的SQL语句的ClickHouse用户。 客户端IP 提交该慢查询SQL语句的客户端IP。 占用的内存空间(MB) 慢查询SQL语句占用的内存大小统计,单位是MB。 操作 当前查询出来的慢SQL语句,可以单击“终止”结束该慢SQL语句查询。 慢查询过滤条件 选择对应的过滤条件,输入查询条件值进行过滤查询。
JobHistoryServer(对应上报告警实例主机名)”,单击图表区域右上角的下拉菜单,选择“定制 > 资源”,勾选“JobHistoryServer非堆内存使用百分比统计”。查看非堆内存使用情况。 查看JobHistoryServer使用的非堆内存是否已达到JobHistoryServer设定的最大非堆内存的90%。
进程 > Broker垃圾回收(GC)时间”,单击“确定”。 图1 Broker垃圾回收(GC)时间 查看Broker每分钟的垃圾回收时间统计值是否大于告警阈值(默认12秒)。 是,执行4。 否,执行7。 检查Kafka配置的直接内存大小。 在FusionInsight Manager首页,选择“集群
的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kinit 组件操作用户(例如developuser) kafka-console-consumer
的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kafka-console-consumer.sh --topic
JobHistoryServer(对应上报告警实例主机名)”,单击图表区域右上角的下拉菜单,选择“定制 > 资源”,勾选“JobHistoryServer堆内存使用百分比统计”。查看堆内存使用情况。 查看JobHistoryServer使用的堆内存是否已达到JobHistoryServer设定的最大堆内存的95%。
mmand line is too long 问题 IntelliJ IDEA中远程提交拓扑,执行Main方法时IntelliJ IDEA报如下错 : Command line is too long. Shorten command line for ServiceStarter
jar”到Linux客户端上,例如/opt/client/conf,与配置文件位于同一目录下。 在Linux环境下运行样例工程。 对于MapReduce统计样例程序,执行如下命令。 yarn jar MRTest-XXX.jar com.huawei.bigdata.mapreduce.examples
jar”到Linux客户端上,例如“/opt/client/conf”,与配置文件位于同一目录下。 在Linux环境下运行样例工程。 对于MapReduce统计样例程序,执行如下命令。 yarn jar MRTest-XXX.jar com.huawei.bigdata.mapreduce.examples
jar”到Linux客户端上,例如/opt/client/conf,与配置文件位于同一目录下。 在Linux环境下运行样例工程。 对于MapReduce统计样例程序,执行如下命令。 yarn jar MRTest-XXX.jar com.huawei.bigdata.mapreduce.examples
执行load data local inpath命令报错 问题现象 执行load data local inpath报如下错误: 错误1: HiveAccessControlException Permission denied. Principal [name=user1, type=USER]
的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kafka-console-consumer.sh --topic