检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步且未生效，集群管理员可以对集群执行同步配置功能，并在同步配置后重启相关服务实例，使所有服务启用新的配置参数。 前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 如果通过Man
业务延迟： 主机内存使用率过高时，可能会导致业务进程运行处理缓慢、业务延迟。 业务失败：主机内存使用率过高时，可能会导致业务进程内存溢出，可能会导致作业运行失败。 可能原因 内存配置无法满足业务需求。内存使用率达到上限。 处理步骤 对系统进行扩容。 打开FusionInsight Man
日志存储路径： Flink作业运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”。 运行中的任务日志存储在以上路径中，运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中。
/客户端安装目录/HBase/hbase kinit flume_hbase（输入密码） 执行hbase shell进入HBase客户端。 执行语句：scan 'flume_test' ，可以看到日志按行写入HBase列族里。 hbase(main):001:0> scan 'flume_test'
判断Map使用的内存大小 判断Map分配的内存是否足够，一个简单的办法是查看运行完成的job的Counters中，对应的task是否发生过多次GC，以及GC时间占总task运行时间之比。通常，GC时间不应超过task运行时间的10%，即GC time elapsed (ms)/CPU time
判断Map使用的内存大小 判断Map分配的内存是否足够，一个简单的办法是查看运行完成的job的Counters中，对应的task是否发生过多次GC，以及GC时间占总task运行时间之比。通常，GC时间不应超过task运行时间的10%，即GC time elapsed (ms)/CPU time
登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行distcp命令的用户所属的用户组必须为supergroup组，且执行以下命令进行用户认证。普通模式集群无需执行用户认证。
ALM-50224 BE上执行的各类任务中是否存在某种类型的任务失败次数有增长趋势 告警解释 系统每30秒周期性检查BE上执行的各类任务中是否存在某种类型的任务失败次数有增长趋势，当检查到该值不等于1（1表示没有增长趋势，0表示有增长趋势）时产生该告警。 当系统检测到BE上执行的各类任务中不存
r”的值，例如“/bin/cat”。配置“Reducer”的值，例如“/usr/bin/wc”。然后单击“添加”。 单击“文件+”，添加运行所需的文件。 例如“/user/oozie/share/lib/mapreduce-streaming/hadoop-streaming-xxx
r”的值，例如“/bin/cat”。配置“Reducer”的值，例如“/usr/bin/wc”。然后单击“添加”。 单击“文件+”，添加运行所需的文件。 例如“/user/oozie/share/lib/mapreduce-streaming/hadoop-streaming-xxx
coordinator.xml 功能描述 周期性执行workflow类型任务的流程定义文件。 参数解释 “coordinator.xml”中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间 end
coordinator.xml 功能描述 周期性执行workflow类型任务的流程定义文件。 参数解释 “coordinator.xml”中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间 end
// 构造执行环境 val env = StreamExecutionEnvironment.getExecutionEnvironment // 设置并发度 env.setParallelism(1) // 解析运行参数
下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaADCount。 /** * 运行Structured Streaming任务，统计广告的有效展示和有效点击数据，结果写入kafka中 */ object KafkaADCount
下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaADCount。 /** * 运行Structured Streaming任务，统计广告的有效展示和有效点击数据，结果写入kafka中 */ object KafkaADCount
查看调测结果 Spark应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。 结果数据存储路径和格式已经由Spark应用程序指定，可通过指定文件获取。 登录Spark WebUI查看应用程序运行情况。 Spark主要有两个Web页面。
登录告警定位参数中描述的Flume ClientIP所在主机，执行以下命令切换root用户。 sudo su - root 执行ping Flume Server IP地址命令，检查Flume Client到Flume Server的网络是否正常。 是，执行2.a。 否，执行4。 检查Flume Client端进程故障。
'{print$1}' 查看命令执行结果中是否包含D、Z、T中的任意一种。 是，执行5。 否，执行7。 切换到root用户，执行reboot命令，重启产生告警主机（重启主机有风险，请确保重启后业务进程正常）。 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行7。 收集故障信息。 在FusionInsight
/客户端安装目录/HBase/hbase kinit flume_hbase（输入密码） 执行hbase shell进入HBase客户端。 执行语句：scan 'flume_test' ，可以看到日志按行写入HBase列族里。 hbase(main):001:0> scan 'flume_test'
'{print$1}' 查看命令执行结果中是否包含D、Z、T中的任意一种。 是，执行5。 否，执行7。 切换到root用户，执行reboot命令，重启产生告警主机（重启主机有风险，请确保重启后业务进程正常）。 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行7。 收集故障信息。 在FusionInsight
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
