检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
waiting for task异常导致Shuffle FetchFailed 问题 使用JDBCServer模式执行100T的TPCDS测试套，出现Timeout waiting for task异常导致Shuffle FetchFailed，Stage一直重试，任务无法正常完成。
为什么并行度大于待处理的block数目时，CarbonData仍需要额外的executor？ 问题 为什么并行度大于待处理的block数目时，CarbonData仍需要额外的executor？ 回答 CarbonData块分布对于数据处理进行了如下优化： 优化数据处理并行度。 优化了读取块数据的并行性。
则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：10240个Task，2000个分区，在执行HDFS文件从临时目录rename到目标目录动作前，FileStatus元数据大小约29
则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：10240个Task，2000个分区，在执行HDFS文件从临时目录rename到目标目录动作前，FileStatus元数据大小约29
spark-sql退出时打印RejectedExecutionException异常栈 问题 执行大数据量的Spark任务（如2T的TPCDS测试套），任务运行成功后，在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息，相关日志如下所示：
spark-sql退出时打印RejectedExecutionException异常栈 问题 执行大数据量的Spark任务（如2T的TPCDS测试套），任务运行成功后，在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息，相关日志如下所示：
当节点的实例规格选项后标示“已售罄”时，将无法购买此规格的节点，请选择其他规格节点进行购买。 Master节点中的4核8GB规格不在SLA售后范围内，仅适用于测试环境，不建议用于生产环境。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 - 系统盘 节点系统盘的存储类型和存储空间
); select cast(186 as varchar); try_cast(value AS type) → type 与cast()相似，区别是转换失败返回null。 select try_cast(1860 as tinyint); _col0 ------- NULL
MRS集群节点如何进行操作系统漏洞升级 用户问题 EulerOS系统底层存在漏洞时，MRS集群如何进行操作系统漏洞升级？ 问题现象 在使用安全软件测试集群时，发现有EulerOS系统底层存在漏洞。 原因分析 MRS集群内服务部署在EulerOS系统中，因此需要进行漏洞升级。 处理步骤 修
节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。 testRDD
合理设置并行度 任务运行的速度和并行度相关，一般来说提升并行度能有效提升读取的速度，但是过大的并行度可能导致部分节点资源的浪费，过小的并行度可能导致部分节点运行缓慢。对于SQL当前不能手动指定每个Task的并行度，指定的是所有Task统一的并行度。 推荐Source的并行度由上游组件
编辑连接 在Loader页面，单击“管理连接”。 单击指定连接的名称，进入编辑页面。 根据业务需要，修改连接配置参数。 单击“测试”。 如果显示测试成功，则执行5；如果显示不能连接至OBS Server，则需要重复3。 单击“保存”。 如果某个Loader作业已集成一个Load
通过调整对应算子并行度提升性能 读写Hudi可以通过配置读写并发提升读写性能。 读算子的并行度调整参数：read.tasks 写算子的并行度调整参数：write.tasks 采用状态索引在作业重启的时候（非Checkpoint重启），需要读目标表重建索引，可以增大该算子并行度提升性能。 加载索引的并行度调整参数：write
创建高查询性能的CarbonData表 操作场景 本章节根据超过50个测试用例总结得出建议，帮助用户创建拥有更高查询性能的CarbonData表。 表1 CarbonData表中的列 Column name Data type Cardinality Attribution msname
length exceeds 2147483647: 2717729270 - discarded 例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口： 在Manager系统中，选择“集群 > 服务 >
length exceeds 2147483647: 2717729270 - discarded 例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口： 在Manager系统中，选择“集群 > 待操作集群的名称
address=5055,suspend=n,server=y，保存配置后重启相关实例。 调试Storm程序需要先修改指定的服务端参数，并在重启服务后生效，建议在测试环境上进行调测。 提交拓扑后，在Storm UI上进入到Topology界面，再单击进入要调试组件界面。 图1 进入拓扑的Component界面
创建CarbonData Table的建议 操作场景 本章节根据超过50个测试用例总结得出建议，帮助用户创建拥有更高查询性能的CarbonData表。 表1 CarbonData表中的列 Column name Data type Cardinality Attribution msname
address=5055,suspend=n,server=y，保存配置后重启相关实例。 调试Storm程序需要先修改指定的服务端参数，并在重启服务后生效，建议在测试环境上进行调测。 提交拓扑后，在Storm UI上进入到Topology界面，再单击进入要调试组件界面。 图1 进入拓扑的Component界面
压缩算法来压缩数据。虽然这些算法可处理任何类型的数据，但如果数据经过排序，相似值在一起出现时，就会获得更好的压缩率。 CarbonData数据加载过程中，数据基于Table中的列顺序进行排序，从而确保相似值在一起出现，以获得更好的压缩率。 由于CarbonData按照Table中
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
