检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ator，因为Set/Map的查询速率接近O(1)，而Iterator是O(n)。 数据倾斜 当数据发生倾斜（某一部分数据量特别大），虽然没有GC（Garbage Collection，垃圾回收），但是task执行时间严重不一致。 需要重新设计key，以更小粒度的key使得task大小合理化。
tory指定savepoint的存储路径，该路径必须是jobManager可以访问的，由于targetDirectory是可选的，如果用户没有配置targetDirectory，则是使用配置文件中“state.savepoints.dir”配置的目录来存放savepoint。 用户可以在“flink-conf
warehouse.dir配置 保存并重启Hive服务。 （可选）安装客户端，具体请参考安装MRS集群客户端。如果集群已安装客户端请执行4。 更新客户端配置文件。 执行以下命令修改客户端Hive配置文件目录下的“hivemetastore-site.xml”。 vim 客户端安装目录
回滚补丁前检查 卸载补丁前需要手动进行相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。
单击“保存”，保存配置。 在MRS集群“组件管理”页签，查看是否存在“配置超期”的组件，如果存在请单击“操作”列的“重启”，重启相关组件。 重新下载并安装MRS集群完整客户端。具体操作请参考安装客户端。 如果需要在管理控制台执行作业提交操作，需要更新集群内置客户端配置文件。 在MRS集群
proxy.idle.session.timeout 多租户模式下，JDBCServer代理session的空闲超时时间。如果在这段时间内没有做任何操作，session会被关闭。 7d spark.thriftserver.proxy.idle.session.check.operation
tory指定savepoint的存储路径，该路径必须是jobManager可以访问的，由于targetDirectory是可选的，如果用户没有配置targetDirectory，则是使用配置文件中“state.savepoints.dir”配置的目录来存放savepoint。 用户可以在“flink-conf
usionInsight-HDFS”目录(“dfs.domain.socket.path”)，该目录默认权限是750。而当前Linux用户没有权限操作该目录。 上述问题可通过执行以下方法解决： 方法一：创建新用户(推荐使用)。 通过Manager页面创建新的用户，该用户属组中默认包含ficommon组。
ator，因为Set/Map的查询速率接近O(1)，而Iterator是O(n)。 数据倾斜 当数据发生倾斜（某一部分数据量特别大），虽然没有GC（Gabage Collection，垃圾回收），但是task执行时间严重不一致。 需要重新设计key，以更小粒度的key使得task大小合理化。
数，如： -XX:MaxDirectMemorySize=512M GC_OPTS参数中-XX:MaxDirectMemorySize默认没有配置，如需配置，用户可在GC_OPTS参数中自定义添加。 具体的配置方法如下： 用户可登录FusionInsight Manager，单击“集群
数，如： -XX:MaxDirectMemorySize=512M GC_OPTS参数中-XX:MaxDirectMemorySize默认没有配置，如需配置，用户可在GC_OPTS参数中自定义添加。 具体的配置方法如下： 用户可登录FusionInsight Manager，单击“集群
security.credentials.hbase.enabled”设置为“true”（该参数值默认为“false”，改为“true”后对已有业务没有影响。如果要卸载HBase服务，卸载前请将此参数值改回“false”）。 运行任务 进入Spark客户端目录，调用bin/spark-su
tory指定savepoint的存储路径，该路径必须是jobManager可以访问的，由于targetDirectory是可选的，如果用户没有配置targetDirectory，则是使用配置文件中“state.savepoints.dir”配置的目录来存放savepoint。 用户可以在“flink-conf
tory指定savepoint的存储路径，该路径必须是jobManager可以访问的，由于targetDirectory是可选的，如果用户没有配置targetDirectory，则是使用配置文件中“state.savepoints.dir”配置的目录来存放savepoint。 用户可以在“flink-conf
tory指定savepoint的存储路径，该路径必须是jobManager可以访问的，由于targetDirectory是可选的，如果用户没有配置targetDirectory，则是使用配置文件中“state.savepoints.dir”配置的目录来存放savepoint。 用户可以在“flink-conf
written_rows limit 10; 业务上建议一次写入一个分区，写入频率不要太快，不要小批量数据的插入，适当增大每次插入的时间间隔。 如果没有触发Merge，或者Merge较慢，需要调整参数加快Merge。 加速Merge，需要调整如下参数，请参考加速Merge操作： 配置项 参考值
可能原因五：代码问题。 解决方法： Spark在启动任务时会在客户端创建sparkDriverEnv并绑定DRIVER_BIND_ADDRESS，该逻辑并没有走到服务端，所以该问题产生的原因也是客户端节点操作系统环境问题导致sparkDriver获取不到对应的主机IP。 可以尝试设置spark.driver
SparkContext(conf) //具体的任务 ... 如果不添加SparkContext.stop，YARN界面会显示失败。如图1，同样的任务，前一个程序是没有添加SparkContext.stop，后一个程序添加了SparkContext.stop()。 图1 添加SparkContext.stop()和不添加的区别
重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行6。 服务或实例重启过程中，Loader不再对外提供服务，无法提交作业，对正在运行的作业没有影响。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Loader”。
请参考新增授权章节。 选择“接入管理 > 创建客户端”，创建LakeFormation实例接入管理客户端。其中“虚拟私有云”和“所属子网”需要与待对接的MRS集群保持一致。详细操作请参考管理接入客户端。 MRS集群的VPC子网信息可通过MRS管理控制台中，MRS集群的概览页面中获取。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
