检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
part过多,merge压力变大,甚至出现异常影响数据插入; 数据的一致性问题:数据先在分布式表写入节点的主机落盘,然后数据被异步地发送到本地表所在主机进行存储,中间没有一致性的校验,如果分布式表写入数据的主机出现异常,会存在数据丢失风险; 对于数据写分布式表和数据写本地表相比,分布式表数据写入性
已执行打包Storm样例工程应用。 调整IntelliJ IDEA客户端机器时间,和Storm集群时间差不超过5分钟。 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 操作步骤 修改WordCountTopology.java类,使用remoteSubmit方式提交应用程序。并替
-omm-datanode-主机名.log),看是否有OutOfMemory内存溢出的打印。 被其他进程终止,或者人为终止。 排查DataNode运行日志(/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-主机名.log),是先收到“RECEIVED
hadoop.hive.serde2.SMS4Rewriter') STORED AS TEXTFILE; 创建表encode_test,并指定插入数据时对第2、3列加密,加密算法类为org.apache.hadoop.hive.serde2.SMS4Rewriter。 REMOVE
zookeeper.session.timeout.ms 网络异常。 在hosts文件中没有配置主机名和IP的对应关系,导致使用主机名进行访问时,无法获取信息。 在hosts文件中添加对应的主机名和IP的对应关系。 Linux Windows 父主题: 使用Kafka
可选择按“回收站容量”或“文件对象数”观察。 操作数 统计HDFS中操作数。 自动balance 统计HDFS自动balancer的执行速度以及本次balancer当前迁移的总容量大小。 NameNode RPC连接数(按用户) 按用户统计连接到NameNode的Client RPC请求中,各个用户的连接数。
紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 用户提交的Spark任务执行失败。 可能原因 KrbServer服务异常。 LdapServer服务异常。 ZooKeeper服务异常。
name=default命令指定运行队列。 提交并执行Tez任务。 登录FusionInsight Manager界面,选择“集群 > 服务 > Tez > TezUI(主机名称)”,在TezUI界面查看任务执行情况。 切换Hive服务默认执行引擎为Tez 登录FusionInsight Manager界面,选择“集群
重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 直接内存溢出可能导致服务不可用
定位信息 定位告警的详细信息。主要包含以下信息: 来源:产品告警的集群 服务名:产生告警的服务名称 角色名:产生告警的角色名称 主机名:产生告警的主机名 管理告警。 单击“导出全部”可导出全部告警详情。 如果有多个告警已完成处理,可选中一个或多个待清除的告警,单击“清除告警”,批
解决办法 该解决办法以20051端口被占用为例,20050端口被占用的解决办法与该办法类似。 以root用户登录DBService安装报错的节点主机,执行命令:netstat -nap | grep 20051查看占用20051端口的进程。 使用kill命令强制终止使用20051端口的进程。
sts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。 准备ThriftServer实例配置文件 若需实现访问HBase
网IP对应主机域名的映射关系,例如: 如果使用的是Windows云服务器,并且与集群的网络是通的,则无需配置EIP。 登录FusionInsight Manager,选择“集群 > 服务 > ZooKeeper > 实例”。 选择任一节点,将该节点对应的EIP填入主机框中(如果使
重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 RegionServer的Region数超出阈值,过多的Region会加剧RegionServer的负载,使得
支持更换i/ir系列磁盘后,自动挂载磁盘 解决的问题 解决的问题 Manager 解决主机监控数据缺失问题; 解决主oms的gaussdb进程占用内存较大的问题; 解决pms心跳检查客户端无法将localhost地址映射成ipv6地址问题; 解决指定时间段内主机资源概况,监控数据为空,查看失败的问题; 解决Zoo
状态的一致性快照,Savepoint与Checkpoint机制相似,但Savepoint需要手动触发,Savepoint保证了任务在升级或迁移时,不丢失当前流应用的状态信息,便于任何时间点的任务暂停和恢复。 Flink SQL Table API和SQL借助了Apache Cal
sts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。 父主题: 准备Kafka应用开发环境
数。操作如下: 登录FusionInsight Manager,选择“集群 > 服务 > Doris”,在概览界面查看“Leader所在的主机”的IP地址,确认主FE所在节点。 单击“实例”,单击IP地址为1查看到的BE实例,选择“实例配置 > 全部配置 BE(角色) > 自定义”,新增如下参数:
是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 如果IO持续飙高,会对业务操作产生影响导致业务受损,具体可能会产生如下影响: 系统
告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Threshold 产生告警的阈值。 对系统的影响 RegionServer RPC写队列数超过阈值,请求队列堆积