检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy，保存并重启受影响的服务或实例。 让DataNode根据磁盘剩余空间大小，优先选择磁盘剩余空间多的节点存储数据副本。 针对新写入到本DataNode的数据会优先写磁盘剩余空间多的磁盘。
问题现象 执行Spark任务，任务无法运行。 原因分析 执行Spark任务时，引入的jar包不正确，导致Spark任务运行失败。 处理步骤 登录任意Master节点。 执行cd /opt/Bigdata/MRS_*/install/FusionInsight-Spark-*/spark/examples/jars命令，
安装成功后，执行以下命令配置环境变量。 source 客户端安装目录/bigdata_env 执行以下命令认证当前用户。 kinit Kafka用户 kinit命令使用的用户为登录Manager的用户，此用户需要具有Kafka用户组相关权限。 执行Python3.x脚本样例。 脚本样例： producer： from
IDEA 用于开发Kafka应用程序的工具。 网络 确保本地与Kafka服务所在的VPC的至少一个节点在网络上互通。 访问云服务器的安全认证 本地可以通过密钥或密码方式登录访问Linux弹性云服务器 父主题： 准备Kafka应用开发环境
mapreduce.input.fileinputformat.split.maxsize map输入信息应被拆分成的数据块的最大大小。 由用户定义的分片大小的设置及每个文件block大小的设置，可以计算分片的大小。计算公式如下： splitSize = Math.max(minSize
HttpFS是个单独无状态的gateway进程，对外提供webHDFS接口，对HDFS使用FileSystem接口对接。可用于不同Hadoop版本间的数据传输，及用于访问在防火墙后的HDFS（HttpFS用作gateway）。 HDFS HA架构 HA即为High Availability，用于解决Name
在IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑，目前样例代码中仅WordCountTopology支持远程提交，其他拓扑想实现远程提交，请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Strom样例工程应用。 调整IntelliJ
} if (connection != null) { try { // 关闭Hbase连接. connection.close(); } catch (IOException e) {
mapreduce.input.fileinputformat.split.maxsize map输入信息应被拆分成的数据块的最大大小。 由用户定义的分片大小的设置及每个文件block大小的设置，可以计算分片的大小。计算公式如下： splitSize = Math.max(minSize
JobHistory2x非堆内存使用率统计 (JobHistory2x)”，可查看“阈值”。 重启所有的JobHistory2x实例。 重启实例期间实例不可用，当前实例节点的任务会执行失败。 等待10分钟，观察界面告警是否清除。 是，处理完毕。 否，执行7。 收集故障信息 在FusionInsight
compaction_threads”参数，值为“20”。 单击“保存”，保存配置。单击“实例”，勾选配置过期的BE实例，选择“更多 > 重启实例”，重启Doris BE实例。 在BE实例重启期间，运行在对应BE节点上的任务会失败，未进行重启的BE节点上的任务不受影响。 查看该告警是否清除。
否，执行2.a。 在MRS集群详情页面，单击“组件管理 > HDFS > 实例”，检查对应DataNode是否处于停止状态。 是，执行1.c。 否，执行2.a。 勾选对应的DataNode实例，单击“更多 > 重启实例”进行重启，等待5分钟后，然后查看本告警是否恢复。 是，处理完毕。 否，执行2
系统每30秒周期性检查YARN服务处于挂起状态（Pending）的任务所占内存量，并把挂起状态任务的内存量和阈值进行比较。当检测到挂起状态任务的内存量超过阈值时产生该告警。 用户可通过“系统设置> 阈值配置 > 服务 > Yarn > 队列root挂起的内存量 > 队列root挂起的内存量”修改阈值。 当挂起状态任务的内存量小于或等于阈值时，告警清除。
繁。 处理步骤 检查GC时间。 登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“43009”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JobHistory（对应上报告警实例IP地址） > 定制 > JobH
Flink Hudi样例程序开发思路 本章节适用于MRS 3.3.0及以后版本。 典型场景说明 本样例中Job每秒生成1条数据，将数据写入到Hudi表中，再读取并打印Hudi表中的数据。 开发思路 写Hudi： 通过一个随机生成数据类来生成数据。 将生成的数据转化为DataStream<RowData>。
IndexServer2x堆内存使用率统计 (IndexServer2x)”，可查看“阈值”。 重启所有的IndexServer2x实例。 重启实例期间实例不可用，当前实例节点的任务会执行失败。 等待10分钟，观察界面告警是否清除。 是，处理完毕。 否，执行7。 收集故障信息 在FusionInsight
IndexServer2x直接内存使用率统计 (IndexServer2x)”，可查看“阈值”。 重启所有的IndexServer2x实例。 重启实例期间实例不可用，当前实例节点的任务会执行失败。 等待10分钟，观察界面告警是否清除。 是，处理完毕。 否，执行7。 收集故障信息 在FusionInsight
可以按0.5倍速率调大。若告警次数比较频繁，可以按1倍速率调大。多业务量、高并发的情况可以考虑增加实例。 重启所有的IndexServer2x实例。 重启实例期间实例不可用，当前实例节点的任务会执行失败。 等待10分钟，观察界面告警是否清除。 是，处理完毕。 否，执行6。 收集故障信息
系统每30秒周期性检查YARN服务处于挂起状态（Pending）的任务数量，并把挂起状态的任务数量和阈值进行比较。当检测到挂起状态的任务数超过阈值时产生该告警。 用户可通过在MRS Manager中的“系统设置 > 阈值配置 > 服务 > Yarn > 队列root正在挂起的任务 > 队列root正在挂起的任务”修改阈值。
定位信息”。查看告警上报实例所在的节点主机信息。 在FusionInsight Manager首页，选择“集群 > 服务 > JobGateway > 实例”。 勾选上报告警的实例，选择“更多 > 滚动重启实例”。 重启期间服务业务可能受损或中断，建议选择业务低峰期操作。 查看实例重启后运行状态是否为良好。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
