检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由于Timeout waiting for task异常导致Shuffle FetchFailed 问题 使用JDBCServer模式执行100T的TPCDS测试套，出现Timeout waiting for task异常导致Shuffle FetchFailed，Stage一直重试
配置HDFS DiskBalancer磁盘均衡 配置场景 DiskBalancer是一个在线磁盘均衡器，旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。
联系硬件工程师将故障磁盘在线拔出。 使用PuTTY工具登录发生告警的“HostName”节点，检查“/etc/fstab”文件中是否包含“DirName”的行。 是，执行7。 否，执行8。 执行vi /etc/fstab命令编辑文件，将包含“DirName”的行删除。
缺点：并发能力不足。 当Hudi表处于实时写入状态，并发执行delete/drop partition命令容易导致实时入库作业失败。 call clean_data命令删除历史数据 命令功能 call clean_data的功能是用来删除mor表的历史数据。
请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。 父主题： MRS集群告警处理参考
经测试证明：10240个Task，2000个分区，在执行HDFS文件从临时目录rename到目标目录动作前，FileStatus元数据大小约29G。为避免以上问题，可修改SQL语句对数据进行重分区，以减少HDFS文件个数。
请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。 父主题： MRS集群告警处理参考
请联系运维人员，并发送已收集的故障日志信息。 告警清除 突发并发任务执行结束后告警自动清除。 参考信息 不涉及。 父主题： MRS集群告警处理参考
文件分割方式 支持以下两种： File：按总文件个数分配map任务处理的文件数量，计算规则为“文件总个数/抽取并发数”。 Size：按文件总大小分配map任务处理的文件大小，计算规则为“文件总大小/抽取并发数”。
经测试证明：10240个Task，2000个分区，在执行HDFS文件从临时目录rename到目标目录动作前，FileStatus元数据大小约29G。为避免以上问题，可修改SQL语句对数据进行重分区，以减少HDFS文件个数。
请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无 父主题： MRS集群告警处理参考
> Map<primitive_type, data_type> CarbonData主要规格 表2 CarbonData主要规格 实体 测试值 测试环境 表数 10000 3个节点，每个executor 4个CPU核，20GB。Driver内存5GB，3个Executor。
在“抽取并发数”填写map任务的个数。 在“加载(写入)并发数”填写reduce任务的个数。 目的连接为HDFS连接时，不显示“加载(写入)并发数”参数。 “单个分片的最大错误记录数”填写错误记录阈值。
spark-sql退出时打印RejectedExecutionException异常栈 问题 执行大数据量的Spark任务（如2T的TPCDS测试套），任务运行成功后，在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息，相关日志如下所示
IoTDB客户端只能连接一个IoTDBServer，大量并发使用同一个客户端会对该客户端连接的IoTDBServer造成压力，可以根据业务需求连接多个不同的客户端来达到负载均衡。
Hudi常见配置参数 写入操作配置 同步Hive表配置 index相关配置 存储配置 compaction&cleaning配置 单表并发控制配置 父主题： 使用Hudi
Consumer的并发量 在一个应用中，同一个Group的Consumer并发量建议与Topic的Partition个数保持一致，保证每个Consumer对应消费一个Partition上的数据。
Consumer的并发量 在一个应用中，同一个Group的Consumer并发量建议与Topic的Partition个数保持一致，保证每个Consumer对应消费一个Partition上的数据。
请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。 父主题： MRS集群告警处理参考
Hudi Schema演进 Schema演进介绍 配置SparkSQL支持Hudi Schema演进 Hudi Schema演进及语法说明 Hudi Schema演进并发说明 父主题： 使用Hudi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
