检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多线程生产数据,相关样例请参考使用多线程Producer发送消息。 多线程消费数据,相关样例请参考使用多线程Consumer消费消息。 基于KafkaStreams实现WordCount,相关样例请参考使用KafkaStreams统计数据 父主题: Kafka开发指南(普通模式)
Doris应用开发流程介绍 开发流程中各阶段的说明如下图所示。 图1 Doris应用程序开发流程 表1 Doris应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前,需首先准备开发环境,推荐使用Java语言进行开发,使用IntelliJ IDEA工具,同时完成
HetuEngine应用开发流程介绍 开发流程中各阶段的说明如图1所示: 图1 HetuEngine应用程序开发流程 表1 HetuEngine应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HetuEngine的基本概念,了解场景需求等。 HetuEngine
多线程生产数据,相关样例请参考使用多线程Producer发送消息。 多线程消费数据,相关样例请参考使用多线程Consumer消费消息。
单NameNode长期故障时如何使用客户端手动checkpoint 问题背景与现象 在备NameNode长期异常的情况下,会积攒大量的editlog,此时如果重启HDFS或者主NameNode,主NameNode会读取大量的未合并的editlog,导致耗时启动较长,甚至启动失败。
查看KeyWordFilter Bolt输出流字段定义和发送消息字段发现一致。 查看Oracle数据库中表定义,发现字段名为大写,与流定义字段名称不一致。 单独调试execute方法,发现抛出字段不存在。 处理步骤 修改流定义字段名称为大写,与数据库表定义字段一致。
保存配置,勾选“重新启动受影响的服务或实例”并单击“确定”重启服务。 父主题: 使用Storm
使用不同用户执行yarn-session创建Flink集群失败 问题背景与现象 使用Flink过程中,具有两个相同权限用户testuser和bdpuser。 使用用户testuser创建Flink集群正常,但是切换至bdpuser用户创建Fllink集群时,执行yarn-session.sh
MRS Manager界面操作:登录MRS Manager页面,选择“服务管理 > Hive > 服务配置 > 全部配置 > HiveServer > 安全”。
HiveServer或者MetaStore实例的健康状态为Concerning 问题现象 HiveServer或者MetaStore实例的健康状态为Concerning。 可能原因 HiveServer或者MetaStore实例在启动的时候发生异常,无法正常启动。如,当修改MetaStore
对同一张表或分区并发写数据导致任务失败 问题背景与现象 Hive执行插入语句时,报错HDFS上文件或目录已存在或被清除,具体报错如下: 原因分析 根据HiveServer的审计日志,确认该任务的开始时间和结束时间。 在上述时间区间内,查找是否有对同一张表或分区进行插入数据的操作。
单击“保存”保存配置,并在“集群 > 服务 > Spark2x > 概览”页签右上角,选择“更多> 滚动重启服务”。 登录Spark2x原生页面即可单击stdout或者stderr访问到executor日志页面。
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据,然后直接写到OBS,指定parquet格式时写入报错,不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3,用Hcatalog方式写入
单击“服务状态”,选择“更多 > 重启服务”,输入当前用户密码,单击“确定”,重启HBase服务。
如果服务出现异常状态,有可能是系统内部用户被锁定,需及时解锁,否则会影响集群正常运行。系统内部用户列表请参见MRS集群用户账号一览表。系统内部用户无法使用Manager解锁。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 热点Region被限流,会限制处理该Region的handler数,请求该Region的业务可能变慢或者失败重试。 可能原因 业务访问HBase服务时单Region请求过高。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 FGC时间超出阈值,会影响到数据的读写。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 只读的表无法写入数据和修改数据。 影响复制表的数据同步,导致数据不一致。 可能原因 ZooKeeper压力大,元数据丢失。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 监控指标转储失败会影响上层管理系统无法获取到FusionInsight Manager系统的监控指标。 可能原因 无法连接服务器。 无法访问服务器上保存路径。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 出现该告警说明某些进程发生了crash。如果是关键进程发生crash,可能会导致集群短暂的不可用。 可能原因 相关进程发生crash。