正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调整“supervisor.slots.ports”的数值,适当增加每个Supervisor上Slot的数量,并重启实例。 等待一段时间,检查该告警是否恢复。 是,处理完毕。 否,执行4。 对Supervisor进行扩容。 添加节点。 等待一段时间,检查该告警是否恢复。
在弹出的界面中查看报错信息进行故障修复,如图1为在Yarn上运行的任务被手动kill导致CDL任务异常,其他任务失败信息还可参考trace部分异常报错信息,如图2所示。
参数说明 表1 Loader常用参数 配置参数 说明 默认值 范围 mapreduce.client.submit.file.replication MapReduce任务在运行时依赖的相关job文件在HDFS上的副本数。
可以直接输入以下命令查看: tailf /var/log/Bigdata/flume/flume/flumeServer.log 问题:当配置文件上传后,发现异常,重新上传配置文件,发现仍然没有满足场景要求,但日志上没有任何异常。
在sqlserver2014上创建一张空表“test_1”用于存储Hive数据。
在sqlserver2014上创建一张空表“test_1”用于存储SparkSQL数据。
导入并配置HDFS样例工程 操作场景 HDFS针对多个场景提供样例工程,帮助客户快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 导入样例工程 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹
导入并配置MapReduce样例工程 操作场景 MapReduce针对多个场景提供样例工程,帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中
com.huawei.bigdata.spark.examples.KafkaADEventProducer 10.132.190.170:21005,10.132.190.165:21005 2h 1h req 10000000 show 5m click 5m 此命令将在kafka上创建
com.huawei.bigdata.spark.examples.KafkaADEventProducer 10.132.190.170:21005,10.132.190.165:21005 2h 1h req 10000000 show 5m click 5m 此命令将在kafka上创建
打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。
如果恢复作业是一次覆盖操作(指定恢复数据到已经存在的表或分区中),那么从恢复作业的COMMIT阶段开始,当前集群上被覆盖的数据有可能不再被还原。如果恢复作业失败或被取消,有可能造成之前的数据损坏且无法访问。这种情况下,只能通过再次执行恢复操作,并等待作业完成。
滚动重启 HiveServer滚动重启时,若仍有客户端连接到滚动重启的HiveServer上,客户端正在运行的任务将失败。 HiveServer滚动重启时,将等待客户端连接断开,最长等待30分钟。
打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。
在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。
实际上后台已将该实例退服,请重新执行退服操作同步状态。 父主题: 管理MRS集群组件
导入并配置MapReduce样例工程 操作场景 MapReduce针对多个场景提供样例工程,帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中
导入并配置HDFS样例工程 操作场景 HDFS针对多个场景提供样例工程,帮助客户快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹
处理流程 出现认证失败的原因很多,在不同场景中建议参考以下步骤来排查: 确认本应用所运行设备和集群网络上是否通畅,Kerberos认证所需的各类端口(TCP/UDP)是否可正常访问。 确认各个配置文件是否被正确读取到,路径是否保存正确。
默认情况下,拓扑在启动后会先从ZooKeeper上的offset存放路径读取历史的offset,用作本次的消费起点,因此只需要正确的指定“zkRoot”和“id”,就可以继承历史记录的offset,不用从头开始消费。