检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi数据表Clean规范 Clean也是Hudi表的维护操作之一,该操作对于MOR表和COW表都需要执行。Clean操作的目的是为了清理旧版本文件(Hudi不再使用的数据文件),这不但可以节省Hudi表List过程的时间,也可以缓解存储压力。 规则 Hudi表必须执行Clean
Flink SQL逻辑开发规则 维表lookup join场景维度表个数不超过五个 Hudi维度表都在TM heap中,当维表过多时heap中保存的维表数据过多,TM会不断GC,导致作业性能下降。 【示例】lookup join维表数5个: CREATE TABLE table1(
Flink SQL逻辑开发建议 在aggregate和join等操作前将数据过滤来减少计算的数据量 提前过滤可以减少在shuffle阶段前的数据量,减少网络IO,从而提升查询效率。 比如在表join前先过滤数据比在ON和WHERE时过滤可以有效较少join数据量。因为执行顺序从发生
开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka
开发Impala应用 Impala样例程序开发思路 创建Impala表 加载Impala数据 查询Impala数据 分析Impala数据 开发Impala用户自定义函数 父主题: Impala开发指南
MRS 3.1.2-LTS.3版本说明 发布日期 MRS 3.1.2-LTS.3 2022年5月1日 更新内容 首个商用LTS版本上线。 组件版本信息 表1 MRS组件版本信息 组件 版本 CarbonData 2.2.0 ClickHouse 21.3.4.25 DBService
IoTDB 新增组件,一体化收集、存储、管理与分析物联网时序数据的服务。 集群管理 支持补丁在线推送及更新。
对系统的影响 更换过程中Manager需要重启,此时系统无法访问且无法提供服务。 前提条件 获取需要更换的HA根证书文件“root-ca.crt”和密钥文件“root-ca.pem”。 准备一个访问密钥文件的密码password,例如“Userpwd@123”用于访问密钥文件。
图1 组件管理 单击服务列表中指定的服务名称。 单击“服务配置”。将页面右侧“基础配置”切换为“全部配置”,界面上将显示该服务的全部配置参数导航树,导航树从上到下的根节点分别为服务名称和角色名称。
参数入口 请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表,以逗号分隔多个目录。
从零开始使用Loader 用户可以使用Loader将数据从SFTP服务器导入到HDFS。 本章节适用于MRS 3.x之前版本。 前提条件 已准备业务数据。 已创建分析集群。 操作步骤 访问Loader页面。 登录集群详情页面,选择“服务管理”。
选择“集群 > 服务 > Ranger > 配置”。 选择“全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。
如果集群之前安装了1.9.2.2补丁,安装MRS 1.9.2.3补丁需要滚动重启HDFS、YARN、MapReduce、Kafka组件服务;否则安装MRS 1.9.2.3补丁需要滚动重启Hadoop、Hive、Spark、Kafka、Ranger、Presto以及相关依赖服务,滚动重启服务不断服
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 设备分区名 产生告警的磁盘分区。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 可能引起Manager主备倒换。无法对acs上层应用提供安全认证和用户管理功能,可能引起无法登录Manager和组件的WebUI。 可能原因 ACS进程异常。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。
服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 omm用户过期,Manager各节点互信不可用,无法对服务提供管理功能。 可能原因 omm用户过期。 处理步骤 检查系统中omm用户是否过期。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 ommdba密码过期,Manager各节点互信不可用,无法对服务提供管理功能。 可能原因 该主机ommdba密码过期。 处理步骤 检查系统中ommdba密码是否过期。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Manager主备倒换。 executor进程持续重启,可能引起无法访问集群界面。 可能原因 executor进程异常。 处理步骤 检查executor进程是否异常。