检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
peak_memory_bytes bigint 所有BE节点使用的内存峰值,单位为字节。 stmt string 具体执行的SQL语句信息。 reserve1 string 保留字段1。 reserve2 string 保留字段2。 父主题: Doris运维管理
delimited fields terminated by '\t' stored as RCFILE TBLPROPERTIES("groupId"=" group1 ","locatorId"="locator1"); 创建表tab1,并指定tab1的表数据分布在locator1节点上
HetuEngine Hive对接外置自建关系型数据库 MRS Hive对接外部LDAP配置说明 使用Kafka Eagle对接MRS Kafka 使用Jupyter Notebook对接MRS Spark 集群管理类 MRS集群阈值类告警配置说明 提交Spark任务到新增Task节点
图7 查看版本号 命令方式 以root用户登录Manager主OMS节点。 主OMS节点的IP地址信息可在Manager的“主机”页面中查看带有标志的主机信息。 执行如下命令,查看Manager的版本号及平台信息。
“源端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “源端路径”:填写备集群保存备份数据的完整HDFS路径。例如,“备份路径/备份任务名_数据源_任务创建时间/”。 “队列名称”:填写备份任务执行时使用的YARN队列的名称。
解决备OMS节点,主机重启后,knox进程无法自启动的问题。 解决DBServer频繁主备倒换的问题。 解决Hive MetaStore黑名单机制在并发场景下会出现空指针的问题。
操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。
使用root用户登录安装了集群客户端的节点。
使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。
在JDBCServer节点上分别创建“/home/data”文件,内容如下: Miranda,32 Karlie,23 Candice,27 确保其对启动JDBCServer的用户有读写权限。
class yourclassname --master yarn-cluster /yourdependencyjars任务以yarn-cluster模式提交任务,Driver端会在集群中启动,由于加载的是客户端的spark.driver.extraJavaOptions,在集群节点上对应路径下找不到对应的
可能原因 该节点Kafka实例进程的垃圾回收时间过长,或配置的直接内存大小不合理,导致进程GC频繁。 处理步骤 检查Broker进程的垃圾回收(GC)时间。
单击最右侧分区不均衡的条柱,如果只有上报告警的Broker节点上分区数量过多,则需要执行数据均衡。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行6。 确认是否无用的Topic较多。 根据集群实际情况,确认是否存在无用的Topic。
登录上述IP所在主机,执行ifconfig命令查看DBService的浮动IP在该节点是否存在。 是,执行1.f。 否,执行2.a。 执行ping 浮动IP地址命令检查DBService的浮动IP的状态,是否能ping通。 是,执行1.g。 否,执行2.a。
在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,查看该TokenServer节点是否上报“TokenServer堆内存使用率超过阈值”告警。 是,执行7。 否,执行9。
若处于高峰阶段导致该告警,建议对节点进行扩容,或者联系MRS集群管理员提升磁盘配置。 检查该告警是否恢复。 是,处理完毕。 否,执行7。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
zkCli.sh -server <任一ZooKeeper实例所在节点业务IP>:<clientPort> 执行以下命令删除无用数据。
操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。
解决方法如下: 从MRS上下载用户的keytab认证文件,并放置到Flink客户端所在节点的某个目录下。 在“flink-conf.yaml”文件中配置: keytab路径。
慢查询参数说明 表1 慢查询参数说明 参数 参数说明 Server节点IP ClickHouseServer实例的IP。具体可以到Manager,选择“集群 > 服务 > ClickHouse > 实例”,ClickHouseServer角色的IP。