检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果为非root用户,请参考创建并配置RDS实例操作。 单击“确定”完成创建。 配置Ranger数据连接 登录MRS控制台。 单击集群名称进入集群详情页面。 单击“数据连接”右侧的“单击管理”,进入数据连接配置界面。 单击“配置数据连接”,并配置相关参数: 组件名称:Ranger
快速配置参数 概述 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配,以下参数需要根据使用场景进行调整。以下参数除特别指出外,一般在Spark2x客户端的“spark-defaults.conf”文件中配置。
该节点实例内存使用率过大,或配置的内存不合理。 处理步骤 在FusionInsight Manager首页,选择“运维 > 告警 > 阈值设置 > Impala > CPU和内存 > Catalog进程的内存占用率”,检查阈值大小。 如阈值较小(小于80%),可根据实际需要适当增大告警阈值,检查告警是否消除。
Kafka堆内存资源状况”。查看堆内存使用情况。 查看Kafka使用的堆内存是否已达到Kafka设定的最大堆内存的80%。 是,执行1.e。 否,执行2。 单击“组件管理 > Kafka > 服务配置 > 全部配置 > Broker > 环境变量”。将“KAFKA_HEAP_OPTS”参数的值根据实际情况调大。
IoTDBServer实例节点IP RPC端口 IoTDBServer实例节点IP地址可在Manager界面,选择“集群 > 服务 > IoTDB > 实例”查看。 IoTDBServer RPC端口可在参数“IOTDB_SERVER_RPC_PORT”中自行配置。默认端口如下: 开源端口默认值为:6667
例的Worker个数,当检测到HetuEngine计算实例的Worker个数小于初始设置值的80%时产生该告警。 HetuEngine计算实例运行的Worker个数大于等于初始设置值的80%时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除 45007 重要 是 告警参数
IoTDBServer实例节点IP RPC端口 IoTDBServer实例节点IP地址可在Manager界面,选择“集群 > 服务 > IoTDB > 实例”查看。 IoTDBServer RPC端口可在参数“IOTDB_SERVER_RPC_PORT”中自行配置。默认端口如下: 开源端口默认值为:6667
还原DBService HA模块的SSL配置 操作场景 本任务将对安装DBService的集群进行还原DBService服务HA模块SSL的操作。 前提条件 DBService服务HA模块已开启SSL配置。 检查DBService服务HA模块是否开启SSL配置: 查看“$BIGDATA_H
FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 Doris DBalancer的TCP访问端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询D
同步MRS集群组件配置参数 当用户发现部分组件或实例的状态超期或失败时,您可以尝试使用同步配置功能,以恢复配置状态。或者集群中所有服务的配置状态为失败时,同步指定服务的配置数据与后台配置数据。 若集群中所有服务的配置状态为“失败”时,同步集群的配置数据与后台配置数据。 若集群中某
-p数据库登录用户密码 -P数据库连接端口 -hDoris FE实例IP地址 数据库连接端口为Doris FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 Doris FE实例I
其他Kafka配置,可以接受任意Kafka支持的生产配置,配置需要加前缀 .kafka。 Thrift Sink Thrift Sink把events转化为Thrift events并发送到配置的主机的监测端口。常用配置如下表所示: 表20 Thrift Sink常用配置 参数 默认值
x及之后版本。 配置LDAP防火墙策略 在双平面组网的集群中,由于LDAP部署在业务平面中,为保证LDAP数据安全,建议通过配置整个集群对外的防火墙策略,关闭LDAP相关端口。 登录FusionInsight Manager。 选择“集群 > 服务 > LdapServer > 配置”。
Flume常用配置参数 部分参数可在Manager界面配置。 使用Flume需要配置Source、Channel和Sink,各模块配置参数说明可通过本节内容了解。 MRS 3.x及之后版本部分参数可通过Manager界面配置,选择“集群 > 服务 > Flume > 配置工具”,选择
events并发送到配置的主机的监测端口。常用配置如表10所示: 图10 Avro Sink 表10 Avro Sink常用配置 参数 默认值 描述 channel - 与之相连的Channel。仅可在“properties.properties”文件中配置。 type - 类型,需配置为“avro”。仅可在“properties
已访问Loader页面,参见Loader页面介绍。 创建连接 在Loader页面,单击“管理连接”。 单击“新建连接”,配置连接参数。 参数介绍具体可参见Loader连接配置说明。 单击“保存”。 如果连接配置,例如IP地址、端口、访问用户等信息不正确,将导致验证连接失败无法保存。另外VPC相关设置,也可能影响网络连通性。
配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密,以增强安全性。 该章节仅适用于MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口:登录Manager页面,选择“集群 > 服务 > Spark > 配置”,展开“全部配置”页签,在搜索框中输入相关参数名称。
查看Flume使用的直接内存是否已达到Flume设定的阈值(默认值为最大直接内存的80%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Flume > 配置”,选择“全部配置”,选择“Flume > 系统”。将“GC_OPTS
rSync设定的阈值(默认值为最大直接内存的80%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger > 实例 > UserSync >实例配置”,单击“全部配置”,选择“UserSync > 系统”。将“G
在“添加监听器”界面,根据界面提示完成具体配置。 配置监听器。 “前端协议/端口”选择“TCP”、端口填写“9000”,其他参数保持默认。配置完成单击“下一步”。 如果是通过HTTP请求访问,则“前端协议/端口”选择“HTTP”、端口填写“8123”。 配置后端服务器组。 “分配策略类型”