检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看生产消费详情 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager，选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作，例如创建Topic，需同时授予用户相关权限，请参考Kafka用户权限说明。 在“KafkaManager
ClickHouse分区设计 合理设置分区键，控制分区数在一千以内，分区字段使用整型。 分区part数与查询性能关系 图1 分区part数与查询性能关系图 分区建议 建议使用toYYYYMMDD（pt_d）作为分区键，pt_d是date类型。 如果业务场景需要做小时分区，使用pt
ClickHouse索引设计 一级索引设计 在建表设计时指定主键字段的建议：按查询时最常使用且过滤性最高的字段作为主键。依次按照访问频度从高到低、维度基数从小到大来排列。数据是按照主键排序存储的，查询的时候，通过主键可以快速筛选数据，合理的主键设计，能够大大减少读取的数据量，提升
Spark on Hudi表数据维护规范 禁止通过Alter命令修改表关键属性信息：type/primaryKey/preCombineField/hoodie.index.type 错误示例，执行如下语句修改表关键属性： alter table dsrTable set tbl
事实表通常整表数据规模较大，以新增数据为主，更新数据占比小，且更新数据大多落在近一段时间范围内（年或月或天），下游读取该表进行ETL计算时通常会使用时间范围进行裁剪（例如最近一天、一月、一年），这种表通常可以通过数据的创建时间来做分区以保证最佳读写性能。 维度表数据量一般整表数据规
Hive SQL逻辑优化 操作场景 在Hive上执行SQL语句查询时，如果语句中存在“(a&b) or (a&c)”逻辑时，建议将逻辑改为“a & (b or c)”。 样例 假设条件a为“p_partkey = l_partkey”，优化前样例如下所示： select
Hue常用配置参数 参数入口 参数入口，请参考修改集群服务配置参数。 参数说明 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL 表示Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL
空值转换 概述 “空值转换”算子，用于将空值替换成指定值。 输入与输出 输入：空值字段 输出：原字段，但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名，需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。
随机值转换 概述 “随机值转换”算子，用于配置新增值为随机数的字段。 输入与输出 输入：无 输出：随机值字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置生成随机值的字段名。 string 是 无 长度 配置字段长度。 map 是 无 类型
取模转换 概述 “取模转换”算子，对整数字段取模，生成新字段。 输入与输出 输入：整数字段 输出：模数字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 取模字段名 配置取模运算信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。 输出字段名：配置输出字段名。
CarbonData语法参考 DDL DML CarbonData表操作并发语法说明 CarbonData Segment API语法说明 CarbonData表空间索引语法说明 父主题： 使用CarbonData（MRS 3.x及之后版本）
MapReduce开发指南（普通模式） MapReduce应用开发简介 MapReduce应用开发流程介绍 MapReduce样例工程介绍 准备MapReduce应用开发环境 开发MapReduce应用 调测MapReduce应用 MapReduce应用开发常见问题
调测HBase应用 在Windows中调测程序HBase应用 在Linux中调测HBase应用 调测HBase Phoenix样例程序 调测HBase Python样例程序 父主题： HBase开发指南
调测Hive应用 在Windows中调测Hive JDBC应用 在Linux中调测Hive JDBC应用 在Linux中调测Hive HCatalog应用 父主题： Hive开发指南
户可以通过Manager为锁定的用户解锁（仅支持解锁通过Manager创建的用户），也可以通过登录MRS集群节点后使用命令进行解锁。 如果服务出现异常状态，有可能是系统内部用户被锁定，需及时解锁，否则会影响集群正常运行。系统内部用户列表请参见MRS集群用户账号一览表。系统内部用户无法使用Manager解锁。
升级完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 升级组件安装包 该操作可以解决添加服务、添加实例、新下载客户端场景下的补丁安装。 登录集群主OMS节点，执行以下命令。 su - omm cd /opt/Bigdata/patches/MRS_3
安装补丁前准备 安装补丁前需要手动进行以下相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。
补丁安装后操作 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩，操作如下： 登录华为云管理控制台，在“现有集群”列表中选择对应集群，单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题： MRS 3.3.0.3.1补丁说明
MRS集群Task节点弹性伸缩 MRS集群Task节点弹性伸缩概述 添加MRS集群Task节点弹性伸缩策略 管理MRS集群弹性伸缩策略 父主题： MRS集群容量调整
缩容ClickHouseServer节点 MRS集群中部署了ClickHouse服务时，如果需要缩容ClickHouseServer节点，需参考本章节进行缩容前的数据检查，避免在删除节点过程中造成数据丢失。 缩容ClickHouseServer约束限制 表1 ClickHouseServer缩容约束
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
