检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse客户端执行SQL查询时报内存不足如何处理？ 问题现象 ClickHouse会限制group by使用的内存量，在使用ClickHouse客户端执行SQL查询时报如下错误： Progress: 1.83 billion rows, 85.31 GB (68.80
DGC方式如何创建Flink Hive Sql作业 问题现象 使用DGC方式如何创建Flink Hive Sql作业。 解决方法 若通过DGC方式创建提交Flink Hive作业，以读Kafka写Hive作业为例，步骤如下： 提前在Hive客户端中创建Hive表。例如： create
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致Loader服务响应缓慢。 可能原因 会导致频繁FULL GC，Loader服务响应缓慢
告警属性 告警ID 告警级别 是否自动清除 12180 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 如果IO持续飙高，会对业务操作产生影响，导致业务受损。
启停MRS集群节点上所有角色 当主机（节点）故障异常时，用户可能需要在MRS停止主机上的所有角色，对主机进行维护检查。故障清除后，启动主机上的所有角色恢复主机业务。 操作MRS集群前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS 3.3.1-LTS.1.1 发布时间 2024-07-24 解决的问题 MRS 3.3.1-LTS.1.1修复问题列表： 解决设置用户密码永久生效后，会产生密码过期告警的问题。 解决Manager的fms进程线程泄露的问题。
回滚补丁前检查 卸载补丁前需要手动进行相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。
回滚补丁后操作 回退HDFS上的组件包 登录集群主节点并执行以下命令： su - omm cd /opt/Bigdata/patches/{MRS补丁版本号}/client/ source /opt/Bigdata/client/bigdata_env 所有涉及{MRS补丁版本号
回滚补丁后操作 回退HDFS上的组件包 登录集群主节点并执行以下命令： su - omm cd /opt/Bigdata/patches/{MRS补丁版本号}/client/ source /opt/Bigdata/client/bigdata_env 所有涉及{MRS补丁版本号
告警属性 告警ID 告警级别 是否自动清除 12011 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 备Manager的配置文件没有更新。当发生主备倒换
告警级别 是否自动清除 14030 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 对系统的影响 如果服务端打开了HDFS允许写入单副本数据开关，当客户端HDFS配置的副本数为1，则会有单副本数据写入HDF
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 直接内存溢出可能导致服务崩溃，服务崩溃后无法使用Oozie服务调度任务。 可能原因
告警属性 告警ID 告警级别 是否自动清除 19013 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 业务表的部分数据丢失或不可用。 可能原因 Compaction永久阻塞。
删除CarbonData表Segments 操作场景 如果用户将错误数据加载到表中，或者数据加载后出现许多错误记录，用户希望修改并重新加载数据时，可删除对应的segment。可使用segment ID来删除segment，也可以使用加载数据的时间来删除segment。 删除seg
Hive支持的传统关系型数据库语法说明 概述 Hive支持如下传统关系型数据库语法： Grouping EXCEPT、INTERSECT Grouping 语法简介： 当Group by语句带with rollup/cube选项时，Grouping才有意义。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。
小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。
扩容场景中，可以使用该工具将原节点上的部分数据迁移至新增节点上，从而达到扩容后的数据均衡。 前提条件 ClickHouse服务运行正常，Zookeeper服务运行正常，迁入、迁出节点的ClickHouseServer实例状态正常。 请确保迁入节点已有待迁移数据表，且确保该表是MergeTree系列引擎的分区表。
快速恢复业务。 Zookeeper异常导致merge无法正常执行。 登录Manager页面，检查ZooKeeper是否存在服务不可用、ClickHouse服务在ZooKeeper的数量配额使用率超过阈值等相关告警，如果存在，请按照告警指导处理。 执行如下SQL排查是否存在副本同步队列任务积压：
使用hcatalog方式同步数据，报错getHiveClient方法不存在 问题 使用hcatalog方式同步数据，报错getHiveClient方法不存在。 回答 将https://repo.huaweicloud.com/repository/maven/huaweiclou
Storm应用开发简介 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
