检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为了提高容错能力，分布式服务的进程或数据需要尽可能存在多个机架的不同主机上。 Hadoop使用一种类似于文件目录结构的方式来表示主机。 由于HDFS不能自动判断集群中各个DataNode的网络拓扑情况，管理员需设置机架名称来确定主机所处的机架，NameNode才能绘出DataNode的网络拓扑图，
ResourceManager堆内存使用率小于或等于阈值的95%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 18008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition
SecurityKafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。 public class SecurityKafkaWordCount { public static
toLong)) //配置Streaming的CheckPoint目录。 //由于窗口概念的存在，此参数是必需的。 ssc.checkpoint(checkPointDir) //获取获取kafka使用的topic列表。 val topicArr
写包错误率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 可自动清除 12048 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 NetworkCardName
protocol", protocol)”注释掉。 当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。其默认值为“append”。 object SecurityKafkaWordCount { def
用户提交拓扑失败，可能原因客户端侧问题或者Storm侧问题。 查看Storm状态。 对于MRS 3.x之前的版本集群：登录MRS Manager，在MRS Manager页面，选择“服务管理 > Storm”，查看Storm服务当前状态，发现状态为“良好”，且监控指标内容显示正确。
命令中使用到的部分参数值获取方式如下，具体以实际获取信息为准。 ZooKeeper的任意一个节点的业务IP：登录FusionInsight Manager页面，选择“集群 > 服务 > ZooKeeper > 实例”，查看任意一个ZooKeeper角色实例的业务IP地址。例如获取到的IP为“192
告警清除。 告警属性 告警ID 告警级别 是否自动清除 14011 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果将DataNode数据目录挂载在根目录
环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。 用户需保证worker和driver的Python版本一致，否则将报错："Python
getHostName()); } } 多线程安全登录方式 如果有多线程进行login的操作，当应用程序第一次登录成功后，所有线程再次登录时应该使用relogin的方式。 login的代码样例： private Boolean login(Configuration
> 下载”。 在“服务”中勾选待操作集群的“HDFS”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 NameNode
问题现象 MRS服务在集群的Master1和Master2节点上部署了manager-executor进程，该进程主要用于将管控面对集群的操作进行封装，比如作业的提交、心跳上报、部分告警信息上报、集群创扩缩等操作。当客户从MRS管控面提交作业，随着任务量的增大或者任务并发较高，有可
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在下拉菜单中选择Remote，如图1所示。
protocol", protocol)”注释掉。 当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。其默认值为“append”。 public class SecurityKafkaWordCount
环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。 用户需保证worker和driver的Python版本一致，否则将报错："Python
x版本会使用一个HDFS的目录（例如以上报错中的“/tmp/hadoop-omm/yarn/timeline/generic-history/ApplicationHistoryDataRoot”路径）来存放历史任务信息，导致该目录下的文件不断累积，直到到达HDFS配置的目录数量上限（“dfs
Presto常见问题 Presto配置多Hive连接 父主题： 使用Presto
使用Scan读取HBase数据 功能简介 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中，每行数据
API读取HBase表数据 功能简介 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中，每行数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
