检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
收集ClickHouse系统表转储日志 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 在日常使用ClickHouse时,如果出现一些异常故障,需要紧急重启恢复业务,在紧急重启之前,需要及时转储ClickHouse各系统表状态信息,用于问题定位,提升ClickHouse问题定位的效率。
ClickHouse常见问题 在System.disks表中查询到磁盘status是fault或者abnormal 如何迁移Hive/HDFS的数据到ClickHouse 使用辅助Zookeeper或者副本数据同步表数据时,日志报错 如何为ClickHouse用户赋予数据库级别的Select权限
使用Oozie客户端提交作业 Oozie客户端配置说明 使用Oozie客户端提交Hive任务 使用Oozie客户端提交Spark2x任务 使用Oozie客户端提交Loader任务 使用Oozie客户端提交DistCp任务 使用Oozie客户端提交其他任务 父主题: 使用Oozie
使用HDFS HDFS文件系统目录简介 HDFS用户权限管理 HDFS客户端使用实践 快速使用Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略(NodeLabel)
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
private IntWritable timeInfo = new IntWritable(1); /** * 分布式计算 * * @param key Object : 原文件位置偏移量。 * @param value Text
ClickHouse常见问题 在System.disks表中查询到磁盘status是fault或者abnormal 如何迁移Hive/HDFS的数据到ClickHouse 如何迁移OBS/S3的数据到ClickHouse 使用辅助Zookeeper或者副本数据同步表数据时,日志报错
Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint,以便用户可以暂停自己的应用进行升级,并将状态设置为savepoint的状态,并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照,并将快照的
Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint,以便用户可以暂停自己的应用进行升级,并将状态设置为savepoint的状态,并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照,并将快照的
Flink Savepoints CLI介绍 Savepoints在持久化存储中保存某个checkpoint,以便用户可以暂停自己的应用进行升级,并将状态设置为savepoint的状态,并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照,并将快照的元数据
ALM-18003 NodeManager不健康 告警解释 系统每30秒周期性检测不健康NodeManager节点,并把不健康节点数和阈值相比较。“不健康的节点数”指标默认提供一个阈值。当检测到“不健康的节点数”的值超出阈值时产生该告警。 用户可通过选择“集群 > 待操作集群的名称
Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint,以便用户可以暂停自己的应用进行升级,并将状态设置为savepoint的状态,并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照,并将快照的
管理Kafka集群 管理Kafka集群包含以下内容: 添加集群到KafkaManager的WebUI界面 更新集群参数 删除KafkaManager的WebUI界面的集群 添加集群到KafkaManager的WebUI界面 首次创建Kafka集群后会在KafkaManager的W
NameNode节点存在ALM-12027主机PID使用率超过阈值告警 问题背景与现象 3.1.2及之前的3.x版本集群,NameNode节点存在ALM-12027主机PID使用率超过阈值告警,节点Java进程可能出现“unable to create new native thread”报错。
32位 1.40129846432481707e-45 ~3.40282346638528860e+38,正或负 FLOAT 用法说明: 分布式查询使用高性能硬件指令进行单精度或者双精度运算时,由于每次执行的顺序不一样,在调用聚合函数,比如SUM(),AVG(),特别是当数据规模非
Hive SQL逻辑优化 操作场景 在Hive上执行SQL语句查询时,如果语句中存在“(a&b) or (a&c)”逻辑时,建议将逻辑改为“a & (b or c)”。 样例 假设条件a为“p_partkey = l_partkey”,优化前样例如下所示: select
配置Hadoop数据传输加密 配置场景 安全加密通道是HDFS中RPC通信的一种加密协议,当用户调用RPC时,用户的login name会通过RPC头部传递给RPC,之后RPC使用Simple Authentication and Security Layer(SASL)确定一个
Hive SQL逻辑优化 操作场景 在Hive上执行SQL语句查询时,如果语句中存在“(a&b) or (a&c)”逻辑时,建议将逻辑改为“a & (b or c)”。 样例 假设条件a为“p_partkey = l_partkey”,优化前样例如下所示: select
ALM-12063 磁盘不可用 告警解释 系统每一个小时,整点检查一次当前主机的磁盘是否可用,只检查数据盘,在磁盘对应的挂载目录下执行创建文件,写文件和删文件等操作,如果能够成功则认为磁盘可用,发送恢复告警,如果不能成功,则发送故障告警。 告警属性 告警ID 告警级别 是否自动清除
DESCRIBE FORMATTED COLUMNS 语法 DESCRIBE FORMATTED [db_name.]table_name [PARTITION partition_spec] col_name 描述 描述表或分区的列信息。 将包含指定表或分区的列的统计数据。 示例如下。