检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原M
Flink常用配置参数 配置说明 Flink所有的配置参数都可以在客户端侧进行配置，建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置，如果通过Manager界面修改Flink服务参数，配置完成之后需要重新下载安装客户端： 配置文件路径：客户端安装路径/F
多次运行Spark应用程序会引发致命的JRE错误，这个错误由Linux内核导致。 升级内核版本到4.13.9-2.ge7d7106-default来解决这个问题。 父主题： Spark2x常见问题
2021-08-14 解决的问题 MRS 3.0.5.1 修复问题列表： MRS Manager 解决SQL语句过长导致作业管理界面提交SparkSQL作业失败的问题 解决带有注释的SQL语句作业执行失败问题 大数据组件 解决ClickHouse集群IAM用户同步失败问题 解决集群内Flume客户端无法使用委托访问OBS问题
这些函数假定输入字符串包含有效的UTF-8编码的Unicode代码点。不会显式检查UTF-8数据是否有效，对于无效的UTF-8数据，函数可能会返回错误的结果。可以使用from_utf8来更正无效的UTF-8数据。 此外，这些函数对Unicode代码点进行运算，而不是对用户可见的字符（或字形群
使用ZooKeeper客户端 Zookeeper是一个开源的，高可靠的，分布式一致性协调服务。Zookeeper设计目标是用来解决那些复杂，易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用，十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前，除主管理节点以
Unreachable From 192.168.85.50 icmp_seq=4 Destination Host Unreachable 解决办法 设置为正确的IP，必须为本机的IP，如果端口被占用，重新配置一个空闲的端口。 配置正确的证书路径。 联系网络管理员，恢复网络。 父主题：
essage.max.bytes进行检索。 MRS中Kafka服务端默认可以接收的消息最大为1000012 bytes =977 KB。 解决办法 与用户确认，当前Flume发送数据确实存在超过1M的消息。因此，为了确保当前这些消息能够写入Kafka，需要调整Kafka服务端相关参数。
有可能会卡顿问题。 解决Yarn扩容导致性能劣化问题。 解决Yarn RETS API获取各个队列的资源反馈结果为0的问题。 解决Yarn RETS API并发查询队列详情的接口偶现查询结果为0的问题。 解决管控面提交Flink作业打印敏感日志的问题。 解决Hudi到DWS任务unknown以及无法删除问题。
Metastore的频率，增加了缓存机制，默认缓存1小时，所以使用Spark SQL删除MOR表后重新建表写入数据无法同步ro、rt表。 解决方案： 执行SQL时设置参数：hoodie.datasource.hive_sync.interval=0 set hoodie.datasource
SparkDriver) to the correct binding address. 解决方法 应用无法访问到SparkUI的IP:PORT。可能有以下原因： 可能原因一：集群节点与客户端节点网络不通。 解决方法： 查看客户端节点“/etc/hosts”文件中是否配置集群节点映射，在客户端节点执行命令：
ALM-24009 Flume Server垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测Flume进程的垃圾回收（GC）占用时间，当连续5次检测到Flume进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。
所有涉及网络连接操作的超时时间。单位：秒。 360s 回答 由于当前数据量较大，有16T，而分区数只有200，造成每个task任务过重，才会出现上面的问题。 为了解决上面问题，需要对参数进行调整。 增大partition数，把任务切分的更小。 增大任务执行过程中的超时时间。 在客户端的“spark-defaults
所有涉及网络连接操作的超时时间。单位：秒。 360s 回答 由于当前数据量较大，有16T，而分区数只有200，造成每个task任务过重，才会出现上面的问题。 为了解决上面问题，需要对参数进行调整。 增大partition数，把任务切分的更小。 增大任务执行过程中的超时时间。 在客户端的“spark-defaults
2024-04-23 解决的问题 MRS 3.2.0-LTS.1.8修复问题列表： 解决Spark JDBCServer在session关闭超时的时候会出现session一直存在的问题。 解决Spark列字段中的子查询带有distinct聚合函数时执行查询语法报错的问题。 解决DataArts
name=default.t1]] (state=42000,code=40000) 原因分析 创建的新用户没有Hive组件的操作权限。 解决方案 MRS Manager界面操作： 登录MRS Manager页面，选择“系统配置 > 角色管理 > 添加角色”。 输入角色名称。 在
多次运行Spark应用程序会引发致命的JRE错误，这个错误由Linux内核导致。 升级内核版本到4.13.9-2.ge7d7106-default来解决这个问题。 父主题： Spark故障排除
ALM-24007 Flume Server直接内存使用率超过阈值 告警解释 系统每60秒周期性检测Flume服务直接内存使用状态，当连续5次检测到Flume实例直接内存使用率超出阈值（最大内存的80%）时，产生该告警。当Flume直接内存使用率小于或等于阈值时，告警恢复。 告警属性
新增20分钟内Yarn任务失败与kill数超过5个的告警 解决spark jobhistory时区不对问题 优化metastore重启机制 解决HIVE-22771开源问题 解决Hive beeline不打印日志的问题 解决Yarn页面上active node数目不对问题 解决RM线程数过多导致RM页面打开慢问题
更新问题 解决部分场景下备份恢复失败问题 解决HMaster频繁出现进程故障告警问题 大数据组件 解决jobhistory内存泄漏问题 解决Hive truncate表超时失败问题 解决Hive增量任务失败后表数据文件不存在问题 解决Hive sql运行异常问题 解决安全集群创建
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
