检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi表名以及列名采用小写字母。 多引擎读写同一张Hudi表时，为了规避引擎之间大小写的支持不同，统一采用小写字母。 建议 Spark批处理场景，对写入时延要求不高的场景，采用COW表。 COW表模型中，写入数据存在写放大问题，因此写入速度较慢；但COW具有非常好的读取性能力。
合理的时间值。 1296000 yarn.log-aggregation.retain-check-interval-seconds 设置扫描HDFS保存的Container聚合日志的间隔时间。单位：秒。 设置为-1或0时，间隔时间将为“yarn.log-aggregation.
宽的利用率不足，因此存在性能提升空间。使用成熟的向量化的c++加速库后，数据采用向量化格式存在内存中，可以提高带宽利用率，并通过批量的列数处理获得加速效果。 通过开启Spark Native引擎特性，获得SparkSQL的性能加速。 使用约束 Scan算子当前支持的数据类型为：B
Yarn”。 选择“配置 > 全部配置”，搜索参数“yarn.acl.enable”，修改参数值为“true”。如果该参数值已经为“true”，则无需处理。 图1 配置参数“yarn.acl.enable” 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger
keyBy尽量不要使用String。 设置并行度 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到最优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数
详细操作步骤请参考创建共享型负载均衡器。 登录华为云管理控制台，在服务列表中选择“网络 > 弹性负载均衡 ELB”。 在“负载均衡器”界面右上方单击“购买弹性负载均衡”。 在“购买弹性负载均衡”界面，配置以下参数，其他参数保持默认即可： 实例类型：选择“共享型”。 计费模式：选择“按需计费”。
/srv/BigData/hadoop/data1/flume/checkpoint transactionCapacity 事务大小：即当前channel支持事务处理的事件个数，建议和Source的batchSize设置为同样大小，不能小于batchSize。 61200 hostname 要发送数据的
规则选择一个队列，再选择队列上的一个应用，并尝试在这个应用上分配资源。若因参数限制导致分配失败，将选择下一个应用。选择一个应用后，调度器会处理此应用的资源申请。其优先级从高到低依次为：本地资源的申请、同机架的申请，任意机器的申请。 图2 资源分配模型 YARN原理 新的Hadoop
/srv/BigData/hadoop/data1/flume/checkpoint transactionCapacity 事务大小：即当前channel支持事务处理的事件个数，建议和Source的batchSize设置为同样大小，不能小于batchSize。 61200 hostname 要发送数据的
timed out after [10000 milliseconds] 可能原因 Flink开启了SSL通信加密，却没有正确的配置SSL证书。 解决办法 针对MRS 2.x及之前版本，操作如下： 方法1： 关闭Flink SSL通信加密，修改客户端配置文件“conf/flink-conf
Flume_ClientConfig/JDK/jdk-8u18/bin/java: No such file or directory 解决办法 适当调大堆内存（xmx）的值。 与正常启动Flume的节点进行文件和文件夹权限对比，更改错误文件或文件夹权限。 重新配置JAVA_HOME。
channel又达到了过期时间，该channel就被终止了，AM端感知到channel被终止后认为driver失联，然后整个应用停止。 解决办法： 在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间（spark
合理的时间值。 1296000 yarn.log-aggregation.retain-check-interval-seconds 设置扫描HDFS保存的Container聚合日志的间隔时间。单位：秒。 设置为-1或0时，间隔时间将为“yarn.log-aggregation.
at。也可以在“mapred-site.xml”中配置“mapreduce.job.inputformat.class”项。该设置用来指定处理不同格式的数据时需要的InputFormat类，用来读取数据，切分数据块。 setJarByClass(Class< > cls) 核心接
站点。 前提条件 访问MRS集群Manager前，确保集群不处于启动中、停止中、停止、删除中、已删除、冻结状态。 操作视频 本视频为您介绍如何为MRS集群绑定弹性公网IP，并访问集群中组件的WebUI页面。 因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。 通
同时处于启动中、创建中、删除中、停止中、扩容中、缩容中或滚动重启中等状态的计算实例个数默认最多为10个，超过10个的计算实例运维操作会在后台进入等待状态。若需要修改并发处理个数，可在Manager界面，选择“HetuEngine > 配置 > 全部配置”，搜索并调整参数“hsbroker.event.task
表示在RegionServer上启动的RPC侦听器实例数。如果设置过高会导致激烈线程竞争，如果设置过小，请求将会在RegionServer长时间等待，降低处理能力。根据资源情况，适当增加处理线程数。 建议根据CPU的使用情况，可以选择设置为100至300之间的值。 200 hbase.hregion.max.filesize
表示在RegionServer上启动的RPC侦听器实例数。如果设置过高会导致激烈线程竞争，如果设置过小，请求将会在RegionServer长时间等待，降低处理能力。根据资源情况，适当增加处理线程数。 建议根据CPU的使用情况，可以选择设置为100至300之间的值。 200 hbase.hregion.max.filesize
plicatedMergeTree引擎表，后续又进行删除表等操作导致ZooKeeper上的数据异常，致使ClickHouse启动失败。 解决办法 备份问题节点数据库下所有表数据到其他目录。 备份表数据： MRS 3.0.5及之前版本 cd /srv/BigData/data1/clickhouse/data/数据库名
channel又达到了过期时间，该channel就被终止了，AM端感知到channel被终止后认为driver失联，然后整个应用停止。 解决办法：在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间（spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
