检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-13007 ZooKeeper客户端可用连接数不足 告警解释 系统每60秒周期性检测ZooKeeper客户端连接到ZooKeeper服务器上的活动进程数,当检测到连接数目超过阈值时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 13007 次要 是 告警参数 参数名称
主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 备份IoTDB业务数据 在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 单击“创建”。
/opt/example/” )下。 运行任务 登录Spark客户端节点,执行如下命令: source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env kinit Hudi开发用户 编译构建样例代码后可以使用spark-su
/opt/example/” )下。 运行任务 登录Spark客户端节点,执行如下命令: source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env kinit Hudi开发用户 编译构建样例代码后可以使用spark-su
配置流式读取Spark Driver执行结果 配置场景 在执行查询语句时,返回结果有可能会很大(10万数量以上),此时很容易导致JDBCServer OOM(Out of Memory)。因此,提供数据汇聚功能特性,在基本不牺牲性能的情况下尽力避免OOM。 配置描述 提供两种不同
不是每一次插入操作,都要实例化一个Table对象(尽管提倡实例缓存,但也不是在一个线程中一直沿用一个实例,个别场景下依然需要重构,可参见下一条规则)。 正确示例: 注意该实例中提供的以Map形式缓存Table实例的方法,未必通用。这与多线程多Table实例的设计方案有关。如果确定
drwx------ 根因分析。 创建集群时创建的默认用户使用了相同的uid,造成用户错乱。在大量创建用户的场景下,触发了该问题,导致在创建表时偶现Hive用户没有权限。 处理步骤 重启集群sssd进程。 以root用户执行service sssd restart命令重启sssd服务,执行ps
xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 安全登录 请根据实际情况,修改“userName”为实际用户名,例如“developuser”。 在Windows环境下和Linux环境下请使用对应的路径获取方式。
DBService状态正常,组件无法连接DBService 问题背景与现象 上层组件连接DBService失败,检查DBService组件状态正常,两个实例状态也正常。 图1 DBService状态 原因分析 上层组件是通过dbservice.floatip连接的DBService。 在DBS
TezUI无法展示Tez任务执行细节 问题 登录Manager界面,跳转Tez WebUI界面,已经提交的Tez任务未展示,如何解决。 回答 Tez WebUI展示的Tez任务数据,需要Yarn的TimelineServer支持,确认提交任务之前TimelineServer已经开启且正常运行。
如何修复长时间处于RIT状态的Region 问题 在HBase WEBUI界面看到有长时间处于RIT状态的Region,如何修复? 回答 登录HMaster WebUI,在导航栏选择“Procedure & Locks”,查看是否有处于Waiting状态的process id。如
处理步骤 登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置 > 全部配置 > FE(角色) > 自定义”,新增自定义参数“broker_timeout_ms”,默认值为10秒,需适当调大该参数值,如1000,并重启配置过期的FE实例。 父主题:
yarn-client模式下如何修改日志级别为INFO 问题 Spark yarn-client模式下如何修改日志级别为INFO? 回答 登录Spark客户端节点,修改“{客户端安装目录}Spark/spark/conf/log4j.properties”配置文件,修改参数“Log4j
Tez WebUI界面无法展示Tez任务详情 问题 登录Manager界面,跳转Tez WebUI界面,已经提交的Tez任务未展示,如何解决。 回答 Tez WebUI展示的Tez任务数据,需要Yarn的TimelineServer支持,确认提交任务之前TimelineServer已经开启且正常运行。
在IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑,目前样例代码中仅WordCountTopology支持远程提交,其他拓扑想实现远程提交,请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Storm样例工程应用。 调整IntelliJ
enable”,修改该参数值为“true”。 单击“保存”,保存配置。 配置保存成功后,单击“实例”,勾选所有实例,选择“更多 > 重启实例”,在弹出对话框输入密码,单击“确定”,重启所有Hive实例。 对于其他连接MetaStore的组件,还需要添加“hive.metastore-ext
个网段中。 申请弹性IP,绑定新申请的弹性云主机IP,并配置安全组出入规则。 下载客户端程序,请参考下载MRS客户端。 登录客户端下载目标节点,以root用户安装集群客户端。 执行以下命令解压客户端包。 tar -xvf /opt/MRS_Services_Client.tar 执行以下命令校验安装文件包。
删除HBase表数据 功能简介 HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中
shuffle服务连接特定IP,可以参考该章节进行配置。 配置描述 当需要MapReduce shuffle服务绑定特定IP时,需要在NodeManager实例所在节点的配置文件“mapred-site.xml”中(例如路径为:${BIGDATA_HOME}/FusionInsight_HD_xx
/** * 命令行方式远程提交 * 步骤如下: * 1、打包成Jar包,然后在客户端命令行上面进行提交 * 2、远程提交的时候,要先将该应用程序和其他外部依赖(非example工程提供,用户自己程序依赖)的jar包打包成一个大的jar包