检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse ClickHouse基本原理 ClickHouse与其他组件的关系 ClickHouse开源增强特性 父主题： 组件介绍
基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg当前为公测阶段，若需使用需联系技术支持申请白名单开通。 当前版本Iceberg仅支持Spark引擎，如需使用其他引擎构建数据湖服务，请使用Hudi。 图1 Iceberg基本架构 Iceberg特性
Web页面访问类 如何修改开源组件Web页面会话超时时间？ MRS租户管理中的动态资源计划页面无法刷新怎么办？ Kafka Topic监控页签在Manager页面不显示如何处理？ 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错或部分页面不可用如何处理？
性能优化类 Hadoop压力测试工具如何获取？ 如何提高集群Core节点的资源使用率？ 如何配置knox内存？ 如何调整manager-executor进程内存？ 如何设置Spark作业执行时自动获取更多资源？ spark.yarn.executor.memoryOverhead设置不生效如何处理？
组件管理类 MRS集群中安装的组件能否删除？ 如何查看各组件配置文件路径？ Hive服务运行状态为亚健康是否会影响上层业务？ 如何获取ZooKeeper的IP地址和端口？
场景描述 本章节指导用户通过API创建一个MRS分析集群。API的调用方法请参见如何调用API。 约束限制 已在待创建集群区域通过虚拟私有云服务创建VPC，子网。创建VPC请参考查询VPC列表和创建VPC。创建子网请参考查询子网列表和创建子网。 已获取待创建集群区域的区域和可用区信息，具体请参考终端节点。
获取MRS集群信息 MRS服务支持的组件 MRS 3.2.0-LTS.1支持的组件信息如下： 分析集群包含的组件有：Hadoop,Spark2x,HBase,Hive,Hue,Loader,Flink,Oozie,ZooKeeper,HetuEngine,Ranger,Tez,Guardian
由Yarn的ResourceManager和ApplicationMaster组成。其中ResourceManager是一个全新的资源管理系统，而ApplicationMaster则负责MapReduce作业的数据切分、任务划分、资源申请和任务调度与容错等工作。此外，TezUI依
me="hive"。 krbhost：参数值为“hadoop.实际域名”，实际域名可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信 > 本端域” 查看。 执行SQL语句，样例代码中仅执行查询所有表功能，可根据实际情况修改HQL内容。 cursor
参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 换行符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 分割长度单位 长度单位，可选择“char”字符或“byte”字节。 enum 是 char 输入字段
度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。 登录FusionInsight Manager，选择“集群
FE/etc/ENV_VARS”中的“CURRENT_INSTANCE_IP”变量查看。 “priority_network”主要用于帮助系统选择正确的网卡IP作为FE或BE的IP，建议任何情况下，都显式的设置该参数，避免后续机器增加新网卡导致IP选择不正确问题。“priorit
（HA）功能，防止单节点故障以及多节点同时处理一个任务。 MRS 3.3.1及之后版本Oozie默认开启HA机制，无需执行该章节操作。 对系统影响 操作过程中需要重启Oozie服务。重启过程中，Oozie服务无法提供服务。 前提条件 已安装Oozie、ZooKeeper服务，且服务正常运行。
参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机节点信息。 对系统的影响 LdapServer数据不一致时，有可能是Manager上的LdapServer数据损坏，也有可能是集群上的LdapServer数
distinct出现次数超出2中配置规则的阈值，系统提示信息如下： WARNING: static_0001 Occurrence num of 'COUNT(DISTINCT)'(6) reaches the hint threshold(2) 若SQL防御规则中设置的动作是“拦截”，系统回显信息如下： Error
配置HetuEngine物化视图改写能力 配置物化视图推荐能力 自动学习并推荐对业务最有价值的物化视图SQL，使在线查询效率获得倍数提升，同时有效降低系统负载压力 配置HetuEngine物化视图推荐能力 配置物化视图缓存能力 可将多次执行并改写后的SQL保存到缓存中，再次执行这条SQL时会
参数取值范围为0~1，表示可用于ClickHouse的服务器的总物理RAM量的比例。如服务器物理内存为10G，该值设置为0.9，则ClickHouse服务在当前服务器上可用内存为10G* 0.9 = 9G，如果参数设置为0，则表示不限制，那么ClickHouse服务可以使用服务器的所有物理内存。该参数最多有效位为小数点后两位。
单个区域内所有HStoreFile文件主压缩的时间间隔，单位：毫秒。由于执行Major Compaction会占用较多的系统资源，如果正在处于系统繁忙时期，会影响系统的性能。 如果业务没有较多的更新、删除、回收过期数据空间时，可以把该值设置为0，以禁止Major Compaction。
单个区域内所有HStoreFile文件主压缩的时间间隔，单位：毫秒。由于执行Major Compaction会占用较多的系统资源，如果正在处于系统繁忙时期，会影响系统的性能。 如果业务没有较多的更新、删除、回收过期数据空间时，可以把该值设置为0，以禁止Major Compaction。
要只允许受信任的IP地址访问LDAP服务，可以配置iptables过滤列表的INPUT策略。 该章节仅适用于MRS 3.x及之后版本。 对系统的影响 配置受信任IP访问LDAP以后，未配置的IP无法访问LDAP。扩容前，新增加的IP需要配置为受信任的IP。 前提条件 根据安装规划
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
