检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Streaming调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是秒级时延和高吞吐量。因此Streaming调优的目标是在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。
为什么NameNode UI上显示有一些块缺失 问题 回滚成功后，为什么NameNode UI上显示有一些块缺失？ 回答 原因：具有新id/genstamps的块可能存在于DataNode上。DataNode中的块文件可能具有与NameNode的回滚image中不同的生成标记和长
为什么NameNode UI上显示有一些块缺失 问题 回滚成功后，为什么NameNode UI上显示有一些块缺失？ 回答 原因：具有新id/genstamps的块可能存在于DataNode上。DataNode中的块文件可能具有与NameNode的回滚image中不同的生成标记和长
安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 场景一：准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager，选择“集群 > 概览
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时，发现连接不上MRS集群，而在Linux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。 回答 由于Kerberos认证需要使用UDP协议，而防火墙做了特殊处理关掉了需要使用的UDP端口，导致
终端节点 终端节点即调用API的请求地址，不同服务不同区域的终端节点不同，您可以从地区和终端节点中查询服务的终端节点。 基本概念 账号 用户注册华为云时的账号，账号对其所拥有的资源及服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议
管理平面网关，检查节点是否与管理平面网关连通？ 是，执行5。 否，请联系网络管理员修复网络故障，处理完毕后，执行5。 在主管理节点执行以下命令，获取当前环境NTP服务器域名。 本章节后续步骤中将以“ntp.myhuaweicloud.com”为例 cat /opt/Bigdata_func/cloudinit/cloudinit_params
为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致？ 问： 为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致？ 答： 为了节约存储空间，用户修改了Yarn的配置项yarn.resourcemanager.max-compl
Core节点出现df显示的容量和du显示的容量不一致 问题现象 Core节点出现df显示的容量和du显示的容量不一致： 分别使用命令df -h 和命令du -sh /srv/BigData/hadoop/data1/查询得到的/srv/BigData/hadoop/data1/目录磁盘占用量相差较大（大于10
f/flink-conf.yaml”文件，开启作业注册到FlinkServer功能和作业告警功能，参数设置如下： 表1 开启作业注册和作业告警功能 参数 值 描述 job.register.enable true 是否开启作业注册到FlinkServer： true：开启 false：不开启
MRS集群租户资源最小值为0时只能同时运行一个任务吗？ 问： MRS集群的租户资源最小值设置为0后，只能同时运行一个Spark任务吗？ 答： 租户资源最小值改为0后，只能同时运行一个Spark任务。 父主题： 作业管理类
安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 场景一：准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager，选择“集群 > 概览
安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 准备Linux环境运行程序所需配置文件。 在节点中安装MRS集群客户端。例如客户端安装目录为“/opt/client”。 客户端机
不通，需要为每个HBase节点以及ZooKeeper节点配置EIP，并且在本地Windows的hosts文件添加所有节点的公网IP对应主机域名的映射关系，例如： 如果使用的是Windows云服务器，并且与集群的网络是通的，则无需配置EIP。 登录FusionInsight Manager，选择“集群
CDL任务运行一段时间后发生“104”或“143”报错 现象描述 CDL任务运行一段时间后，Yarn任务失败，并返回状态码“104”或“143”。下图为返回状态码“143”： 可能原因 抓取到Hudi中的一批数据量过大，导致任务内存不足。 处理步骤 登录FusionInsight
name", "kafka"); kafkaParams.put("kerberos.domain.name", "hadoop.<系统域名>"); LocationStrategy locationStrategy = LocationStrategies.PreferConsistent();
name", "kafka"); kafkaParams.put("kerberos.domain.name", "hadoop.<系统域名>"); LocationStrategy locationStrategy = LocationStrategies.PreferConsistent();
WebApp（Oozie）即Oozie server，可以用内置的Tomcat容器，也可以用外部的，记录的信息比如日志等放在pg数据库中。 Tomcat Tomcat服务器是免费的开放源代码的Web应用服务器。 Hadoop组件 底层执行Oozie编排流程的各个组件，包括MapReduce、Hive等。 Oozie原理
Hive是否支持对同一张表或分区进行并发写数据 问题 为什么通过接口并发对Hive表进行写数据会导致数据不一致？ 回答 Hive不支持对同一张表或同一个分区进行并发数据插入，这样会导致多个任务操作同一个数据临时目录，一个任务将另一个任务的数据移走，导致任务数据异常。 解决方法是修
Hive是否支持对同一张表或分区进行并发写数据 问题 为什么通过接口并发对Hive表进行写数据会导致数据不一致？ 该章节仅适用于MRS 3.1.2版本。 回答 Hive不支持对同一张表或同一个分区进行并发数据插入，这样会导致多个任务操作同一个数据临时目录，一个任务将另一个任务的数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
