检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例 > NodeManager（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制 > 资源”，勾选“NodeManager内存使用率”。查看堆内存使用情况。 图1 定制NodeManager内存使用率
Manager首页，选择“集群 > 服务 > Guardian > 实例”，单击1获取的实例主机名对应的TokenServer角色，单击图表区域右上角的下拉菜单，选择“定制 > RPC > TokenServer RPC队列平均时间”，单击“确定”。 查看TokenServer
Manager首页，选择“集群 > 服务 > Spark2x > 实例”，单击上报告警的JobHistory2x，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > JobHistory2x的Full GC次数”，单击“确定”，查看JobHistory2x进程的Full
有新数据到来时，OVER聚合结果刷新并向下游算子发送最新的计算结果，可通过over.window.interval配置该功能，配置如下： 表1 FlinkSQL OVER窗口数据超期退窗功能 参数名称 默认值 说明 over.window.interval -1 相邻2条数据的时
共享功能。 图1 开启集群指标共享 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩，操作如下： 登录华为云管理控制台，在“现有集群”列表中选择对应集群，单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题： MRS 3.1.0.0.16补丁说明
计算节点，尽可能的降低使用成本。 平衡突发查询 大数据集群上，由于有大量的数据，企业会经常面临临时的分析任务，例如支撑企业决策的临时数据报表等，都会导致对于资源的消耗在极短时间内剧增。MRS提供的弹性伸缩能力，可以在突发大数据分析时，及时补充计算节点，避免因为计算能力不足，导致业
进入弹性伸缩配置界面后，配置资源计划。 资源计划可调控节点数量，也会对实际价格有影响，请谨慎操作。 节点数量范围的“默认范围”设置为“2-2”，表示除资源计划规定时间范围外，其他时间Task节点数量固定为2个。 单击默认范围下方的“配置指定时间段的节点数量范围”或者“添加资源计划”。
Manager首页，选择“集群 > 服务 > Spark2x > 实例”，单击上报告警的JDBCServer2x，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > JDBCServer2x的Full GC次数”，单击“确定”，查看JDBCServer进程的Full GC次数是否大于阈值（默认12）。
“配置”，查看该计算实例的资源配置是否合理（默认资源配置为最小化配置，可以根据实际需求调节）。 是，执行8。 否，执行5。 返回计算实例列表，单击“停止实例”，根据界面提示停止计算实例。 停止计算实例会影响提交到该计算实例上的业务。 单击“配置”，根据实际情况增加计算实例的资源配
Manager，单击“集群 > 服务 > Yarn > 配置”，单击“全部配置”，单击“NodeManager > 系统”，在“GC_OPTS”参数中修改配置。 表1 参数说明 参数 描述 默认值 GC_OPTS Yarn NodeManager的GC参数。 128M 父主题： Spark Core
待操作集群的名称 > 服务 > Yarn > 配置”，单击“全部配置”，单击“NodeManager > 系统”，在“GC_OPTS”参数中修改配置。 表1 参数说明 参数 描述 默认值 GC_OPTS Yarn NodeManager的GC参数。 128M 父主题： Spark Core
Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例 > DataNode（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制 > 资源”，勾选“DataNode内存使用详情”。查看直接内存使用情况。 查看DataNode使用的直接内
等待5分钟，查看告警是否自动清除。 是，操作结束。 否，执行10。 检查是否Broker的分区分布不均匀，存在热点。 选择“集群 > 服务 > Kafka > 图表”在分类中选择“分区”，单击“Partition数目-所有实例”右上角的放大图标，选择“分布图”，查看Broker上分区分布是否均衡。 图1
等待5分钟，查看告警是否自动清除。 是，操作结束。 否，执行10。 检查是否Broker的分区分布不均匀，存在热点。 选择“集群 > 服务 > Kafka > 图表”在分类中选择“分区”，单击“Partition数目-所有实例”右上角的放大图标，选择“分布图”，查看Broker上分区分布是否均衡。 图1
等待5分钟，查看告警是否自动清除。 是，操作结束。 否，执行10。 检查是否Broker的分区分布不均匀，存在热点。 选择“集群 > 服务 > Kafka > 图表”在分类中选择“分区”，单击“Partition数目-所有实例”右上角的放大图标，选择“分布图”，查看Broker上分区分布是否均衡。 图1
Manager首页，选择“集群 > 服务 > Spark2x > 实例”，单击告警上报的JDBCServer2x，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > JDBCServer2x的GC时间”，单击“确定”，查看JDBCServer2x进程的GC时间是否大于阈值（默认12秒）。
测。可通过设置Kafka服务配置“ssl.mode.enable”为“true”，来启动SSL和SASL_SSL两种协议类型的访问监测。下表是四种协议类型的简单说明： 可以参考修改集群服务配置参数进入Kafka全部配置页面，查看或配置参数。 协议类型 说明 默认端口 PLAINTEXT
使用Spark执行Hudi样例程序（Python） 使用python写Hudi表 下面代码片段仅为演示，具体代码参见：sparknormal-examples.SparkOnHudiPythonExample.hudi_python_write_example。 插入数据： #insert
multiplier，默认值2），如果大于线程数的指定倍数，可增加RocksDB线程数。 是：在Flink WebUI的作业开发界面，调整如下自定义参数的值并保存后执行8。 表1 调整自定义参数 参数名称 默认值 说明 state.backend.rocksdb.thread.num 2 4：开启SPINNING_
multiplier，默认值2），如果大于线程数的指定倍数，可增加RocksDB线程数。 是：在Flink WebUI的作业开发界面，调整如下自定义参数的值并保存后执行8。 表1 调整自定义参数 参数名称 默认值 说明 state.backend.rocksdb.thread.num 2 4：开启SPINNING_
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
