检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配，以下参数需要根据使用场景进行调整。以下参数除特别指出外，一般在Spark2x客户端的“spark-defaults.conf”文件中配置。 表1 快速配置常用参数
BE节点上的任务不受影响。 收集故障信息 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Doris”和“OMS”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后20分钟，单击“下载”。
进行转义；非加密密码中含有单引号时可用双引号进行转义，非加密密码中含有双引号应使用反斜杠\进行转义。可参考Shell的转义字符规则。 命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 - job.jobId 需要执行数据备份的作业ID。
Manager首页，选择“运维 > 告警 > 告警”，单击告警“ALM-14015 DataNode进程垃圾回收（GC）时间超过阈值”所在行的下拉菜单，在“定位信息”中查看告警上报的角色名并确定实例的IP地址。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 >
检查ClickHouse业务压力是否过大 登录FusionInsight Manager页面，选择“运维 > 告警 > 告警”，查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 以客户端安装用户，登录客户端的节点，执行如下命令： cd {客户端安装路径} source bigdata_env
Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Flume > 配置”，选择“全部配置”，选择“Flume > 系统”。将“GC_OPTS”参数中“-Xmx”的值根据实际情况调大，并单击“保存”，单击“确定”。 出现此告警时，说明当前flume server设置的堆内存无法满足当前数据传输所需的堆内存，建议堆内存调整为：
Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Flume > 配置”，选择“全部配置”，选择“Flume > 系统”。将“GC_OPTS”参数中“-XX: MaxPermSize”的值根据实际情况调大，并单击“保存”，单击“确定”。 出现此告警时，说明当前flume server实例
MRS集群管理节点，节点上部署OMSServer负责管理和监控集群。 在MRS集群创建成功后，集群内的节点名称中包含“master1”的节点为Master1节点，名称中包含“master2”的节点为Master2节点。 Master节点可以通过弹性云服务器界面的VNC方式登录，也
Manager首页，选择“运维 > 告警 > 告警 > ALM-24011 Flume证书文件即将过期 > 定位信息”。查看告警上报的实例的IP地址。 检查系统中合法证书文件的有效期，重新生成证书文件。 以root用户登录告警所在节点主机，并执行su - omm切换用户。 执行以下命令进入Flume服务证书目录。
> 告警 > ALM-24013 MonitorServer证书文件非法或已损坏 > 定位信息”。查看告警上报的实例的IP地址。 检查系统中证书文件是否有效，重新生成证书文件。 以root用户登录告警所在节点主机，并执行su - omm切换用户。 执行以下命令进入MonitorServer证书目录。
告警 > 告警 > ALM-24014 MonitorServer证书文件即将过期 > 定位信息”。查看告警上报的实例的IP地址。 检查系统中合法证书文件的有效期，重新生成证书文件。 以root用户登录告警所在节点主机，并执行su - omm切换用户。 执行命令进入MonitorServer证书目录。
环境变量”。将“KAFKA_HEAP_OPTS”参数的值参考如下说明调大。 图2 KAFKA_HEAP_OPTS参数 建议“KAFKA_HEAP_OPTS”参数中“-Xmx”和“-Xms”值保持一致。 建议根据2查看“Kafka堆内存使用率”，调整“KAFKA_HEAP_OPTS”的值为“Kafka使
datanode.du.reserved.percentage”。 配置描述 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数描述 参数 描述 默认值 dfs.datanode.du.reserved.percentage DataNode
Spark Structured Streaming样例程序（Java） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com
是，操作结束。 否，执行2。 收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“ClickHouse”。 在“主机”中选择异常的主机，单击“确定”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”
是，操作结束。 否，执行2。 收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“ClickHouse”。 在“主机”中选择异常的主机，单击“确定”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”
Spark Structured Streaming样例程序（Java） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com
datanode.du.reserved.percentage”。 配置描述 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数描述 参数 描述 默认值 dfs.datanode.du.reserved.percentage DataNode
是，操作结束。 否，执行4。 收集故障信息。 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Hive”。 单击右上角的设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后10分钟，单击“下载”。 请联
待操作集群的名称 > 服务 > Oozie > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > 内存”中的“Oozie直接内存使用率”，单击“确定”。 图1 定制Oozie直接内存使用率 查看Oozie使用的直接内存是否已达到Oozie设定的阈值（默认值为最大直接内存的80%）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
