检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”文件放到样例工程的“conf”目录下。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图2 Quick Start
1:执行错误,终止执行。 2:执行完成并且成功。 3:已取消。 默认取值: 不涉及 hive_script_path String 参数解释: Hive脚本地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 create_by String 参数解释: 创建作业的用户ID。 约束限制:
如果用户场景需要同时访问50个以上的Spark应用时,需要调大“spark.history.retainedApplications”参数的值。 请登录FusionInsight Manager管理界面,单击“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部
INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager系统。 选择“集群 > 服务 > Guardian > 配置 > 全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。
对系统的影响 Impalad不能执行sql或执行sql超时,会影响到数据的读写。 可能原因 该Impalad服务维护的查询数量过多。 处理步骤 登录FusionInsight Manager,然后选择“集群 > 服务 > Impala > Impalad Web UI”,单击任一个节点进入Web
当查询并发数过大时,会消耗大量的系统资源,导致系统响应时间变慢,甚至拒绝后续查询。 可能原因 租户业务量过大。 处理步骤 查看租户FE实际查询并发数。 登录FusionInsight Manager,选择“运维 > 告警 > 告警”,选中“告警ID”为“50227”的告警,查看“定位信息”中的角色名并确定实例的IP地址。
S、DBService要求状态正常,其他组件要求停止服务): 是,执行9。 否,执行2。 恢复组件状态至要求状态,再一次启动该恢复任务。 登录FusionInsight Manager管理界面,选择“运维 > 告警 > 告警”。 在告警列表中单击该告警所在行的,从“定位信息”处获得任务名。
Project对话框中选择样例工程文件夹“hdfs-example-normal”,单击“OK”。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图2 Quick Start
如果用户场景需要同时访问50个以上的Spark应用时,需要调大“spark.history.retainedApplications”参数的值。 请登录FusionInsight Manager管理界面,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,在左侧的导航列表中,单击“JobHistory2x
如果用户场景需要同时访问50个以上的Spark应用时,需要调大“spark.history.retainedApplications”参数的值。 请登录FusionInsight Manager管理界面,单击“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部
Manager首页,选择“运维 > 告警 > 告警 > Kafka默认用户状态异常 > 定位信息”。查看告警上报的实例的主机名。 根据告警提示的主机信息,登录到该节点上。 执行id -Gn kafka,查看返回结果是否报"No such user"。 是,记录当前节点主机名,并执行4。 否,执行6。
告警消除后,查看“Ranger服务不可用”告警是否清除。 是,处理完毕。 否,执行3。 检查所有RangerAdmin实例。 以omm用户登录RangerAdmin实例所在节点,执行ps -ef|grep "proc_rangeradmin"命令查看当前节点是否存在RangerAdmin进程。
Project对话框中选择样例工程文件夹“hdfs-example-normal”,单击“OK”。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图2 Quick Start
INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager系统。 选择“集群 > 服务 > MemArtsCC > 配置 > 全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。
DistCp、SQL类(SparkSQL、HiveSQL等)作业类型无法克隆。 该功能暂时仅在北京四region开放,如需体验,请联系运维人员。 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“作业管理”。 在需要克隆作业的对应的“
是,执行13。 否,执行10。 勾选两个Nimbus角色实例,选择“更多 > 重启实例”,查看是否重启成功。 是,执行11。 否,执行13。 重新登录FusionInsight Manager管理界面,选择“集群 > 待操作集群的名称 > 服务 > Storm > Nimbus”,查看运行状态是否为“良好”。
可能原因 CDL任务异常,数据停止处理;或源端数据库更新快,CDL数据处理较慢。 处理步骤 使用具有创建CDL任务的用户或者具有管理员权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警”,单击“告警ID”为“45617”所在行的,在“定位信息”中查看发生该告警的作业名称。
务直接丢弃,不进行处理。 若Streaming应用中使用了state函数,则不允许开启对接Kafka可靠性功能。 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.Kafka
streaming.StreamingExampleProducer {BrokerList} {Topic} 如果开启了kerberos认证,需要将客户端的配置文件“spark-defaults.conf”和sparkJDBC服务端中的配置项spark.yarn.security.credentials
告警”,单击此告警所在行的,查看定位信息中上报告警的“主题名”列表。 确认发生告警Topic是否需要增加副本。 是,执行3。 否,执行5。 在FusionInsight客户端,对相关Topic的副本进行重新规划,在add-replicas-reassignment.json文件中描述该Topic的Partiti