检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置Spark Core并行度 操作场景 并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行
--batch-sync-num 指定每批次同步hive的分区数 N 1000 Hive Sync时会判断表不存在时建外表并添加分区，表存在时对比表的schema是否存在差异，存在则替换，对比分区是否有新增，有则添加分区。 因此使用hive sync时有以下约束： 写入数据Schema只允许增加字段，不允许修改、删除字段。
tuple() ORDER BY tuple(); 其中，字段a是原生字符串，字段a_low_card基于a做了低基维编码。 数据存储的对比 查询性能对比 查询性能有5倍的提升。 父主题： ClickHouse宽表设计
FlinkSQL算子并行度 本章节适用于MRS 3.5.0及以后版本。 使用场景 通过CompiledPlan提交的作业，算子的并行度、算子的TTL都以CompiledPlan中的值为准，而不是“flink-conf.yaml”中的值。FlinkSQL支持通过修改作业的CompiledPlan来设置算子并行度。
通过弹性负载均衡访问ClickHouse ELB的部署架构对比BalancedClickhouseDataSource的优势可以参考表1说明。 表1 ELB和BalancedClickhouseDataSource两种负载均衡方案对比 负载均衡方案 方案对比 ELB 支持多种请求策略 故障自动检测转移
通过弹性负载均衡访问ClickHouse ELB的部署架构对比BalancedClickhouseDataSource的优势可以参考表1说明。 表1 ELB和BalancedClickhouseDataSource两种负载均衡方案对比 负载均衡方案 方案对比 ELB 支持多种请求策略 故障自动检测转移
< ‘2020-11-10’ and pt_d > ‘2020-11-03’; 在分组、join等操前做数据过滤，减少计算的数据量。 【效果对比】 用PREWHERE替代WHERE，优先过滤数据，加速查询。 PREWHERE相对于WHERE在执行时的区别：首先只读取PREWHERE
配置列统计值直方图Histogram用以增强CBO准确度 配置场景 Spark优化sql的执行，一般的优化规则都是启发式的优化规则，启发式的优化规则，仅仅根据逻辑计划本身的特点给出优化，没有考虑数据本身的特点，也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优
配置列统计值直方图Histogram用以增强CBO准确度 配置场景 Spark优化sql的执行，一般的优化规则都是启发式的优化规则，启发式的优化规则，仅仅根据逻辑计划本身的特点给出优化，没有考虑数据本身的特点，也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优
告警”页面，找到“ALM-29104 Tserver进程内存占用率超过阈值”告警，查看告警来源。 在“运维 > 告警 > 阈值设置 > Kudu”，找到该告警的阈值，再对比集群Kudu实例的内存监控项，看是否超过阈值，处理内存使用率过高的问题，或修改阈值。 在“运维 > 告警”页签，查看该告警是否恢复。 是，处理完毕。
nt/etc/agent/autocheck”目录，然后执行vi keyfile命令，并搜索对应的异常文件名，可以看到该文件的正确权限。 对比当前主机上该文件的真实权限和1.e中获取到的文件应有权限，对该文件进行正确的权限和用户，用户组信息的修改。 等待一个小时，进入下一次检查，查看告警是否恢复。
为什么并行度大于待处理的block数目时，CarbonData仍需要额外的executor？ 问题 为什么并行度大于待处理的block数目时，CarbonData仍需要额外的executor？ 回答 CarbonData块分布对于数据处理进行了如下优化： 优化数据处理并行度。 优化了读取块数据的并行性。
列单击“运行”，即可开始HBase数据迁移。 迁移完成后，可以在目的端集群和源端集群的HBase Shell命令行中，通过同样的查询语句，对比查询结果进行验证。 例如： 在目的端集群和源端集群上通过查询BTable表的记录数来确认数据条数是否一致，可添加“--endtime”参数
少或不变。 是，手动清除告警，操作结束。 否，执行7。 查看当前用户实时的连接个数和使用率对比历史数据是否有明显的异常增长，已经达到设定的最大连接数。 是，执行8。 否，执行9。 如果对比历史数据发现该用户的连接有明显的增加，甚至达到了设定的最大连接数，那么该用户的连接可能存在异常，需要和业务方进行确认。
写到对应的对象中。此操作会对系统性能造成影响。设置为true时，用户需手动注册类，针对未序列化的类，系统不会自动写入类名，而是发生异常，相对比false，其性能较好。 配置KryoSerializer作为数据序列化器和类注册器。 val conf = new SparkConf()
写到对应的对象中。此操作会对系统性能造成影响。设置为true时，用户需手动注册类，针对未序列化的类，系统不会自动写入类名，而是抛出异常，相对比false，其性能较好。 配置KryoSerializer作为数据序列化器和类注册器。 val conf = new SparkConf()
写到对应的对象中。此操作会对系统性能造成影响。设置为true时，用户需手动注册类，针对未序列化的类，系统不会自动写入类名，而是发生异常，相对比false，其性能较好。 配置KryoSerializer作为数据序列化器和类注册器。 val conf = new SparkConf()
引为“1M”的key值进行对比）。 是，执行13。 否，执行15。 使用root用户登录故障节点，Red Hat系统执行cat /etc/chrony.keys，查看key值是否与12的查询值相同（请使用查询出的认证密钥索引为“1M”的key值进行对比）。 是，执行38。 否，执行14。
为什么并行度大于待处理的block数目时，CarbonData仍需要额外的executor？ 问题 为什么并行度大于待处理的block数目时，CarbonData仍需要额外的executor？ 回答 CarbonData块分布对于数据处理进行了如下优化： 优化数据处理并行度。 优化了读取块数据的并行性。
'{print $1}' 执行命令查看备NameNode的磁盘剩余空间（单位为MB）。 df -m ./ | awk 'END{print $4}' 对比FsImage的大小和目录剩余空间大小，看剩余空间是否还能存储一个FsImage文件。 是，执行7。 否，执行19。 清理该目录所在磁盘的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
