检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
aster和相关的NodeManager通讯,在获得的Container上启动Executor,Executor启动后,开始向Driver注册并申请Task。 Driver分配Task给Executor执行。 Executor执行Task并向Driver汇报运行状况。 YARN Client模式
联系运维人员检查浮动IP地址的网卡是否存在。 是,执行2。 否,执行1.e。 请联系运维人员处理网卡问题。 等待5分钟,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行2。 检查主备管理节点的数据库状态。 分别登录主备管理节点,执行sudo su - root和su - om
AM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 在MRS管理控制台执行健康检查 登录MRS管理控制台。 选择“现
检查Impala依赖的服务是否正常。 在FusionInsight Manager首页,选择“集群 > 服务”,查看Hive、KrbServer是否已停止。 是,启动已停止的服务,执行2。 否,执行3。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,在告警列表
getOrCreate() import spark.implicits._ //通过隐式转换,将RDD转换成DataFrame,然后注册表 spark.sparkContext.textFile(args(0)).map(_.split(",")) .map(p
SQLContext(sc) import sqlContext.implicits._ //通过隐式转换,将RDD转换成DataFrame,然后注册表 sc.textFile(args(0)).map(_.split(",")) .map(p => FemaleInfo(p(0)
nger鉴权”是否为可单击? 是,表示当前本服务未启用Ranger鉴权插件,可单击“启用Ranger鉴权”启用该功能。 否,表示当前本服务已启用Ranger鉴权插件,可通过Ranger管理界面配置访问该服务资源的权限策略。 若不存在该选项,则表示当前服务不支持Ranger鉴权插件,未开启Ranger鉴权。
nger鉴权”是否为可单击? 是,表示当前本服务未启用Ranger鉴权插件,可单击“启用Ranger鉴权”启用该功能。 否,表示当前本服务已启用Ranger鉴权插件,可通过Ranger管理界面配置访问该服务资源的权限策略。 如果不存在该选项,则表示当前服务不支持Ranger鉴权插件,未开启Ranger鉴权。
”、“INFO”、“WARN”、“ERROR”和“FATAL”信息。 由于开源中定义的不同,组件的日志级别定义略有差异。 验证日志级别设置已生效,请下载日志并查看。请参见下载MRS集群日志(MRS 3.x及之后版本)。 修改服务日志级别与日志文件大小 KrbServer,Ldap
jars路径。文档中提供的示例代码,其运行依赖包在客户端jars中已存在。 Spark Launcher的方式依赖Spark客户端,即运行程序的节点必须已安装Spark客户端,且客户端可用。运行过程中依赖客户端已配置好的环境变量、运行依赖包和配置文件, 在Spark应用程序运行节点,执行如下命令使用Spark
IP地址 是,执行6。 否,执行4。 联系网络管理员查看是否为网络故障。 是,执行5。 否,执行6。 修复网络故障,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行6。 检查/srv/BigData/LocalBackup目录存储空间是否已满。 执行以下命令检查“/srv
ournalNode节点的数据不同步时,NameNode将无法工作,导致HDFS服务不可用。 可能原因 JournalNode实例未启动或已停止。 JournalNode实例运行状态异常。 JournalNode节点的网络不可达。 处理步骤 查看JournalNode实例是否启动。
户创建集群时设置的root密码。 执行如下命令,配置环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证,执行如下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户 例如,kinit
“启用Ranger鉴权”按钮置灰(Hive已启用Ranger鉴权),执行1.e。 “停用Ranger鉴权”按钮置灰(Hive未启用Ranger鉴权),执行1.f。 集群的“认证模式”为“普通模式”: “启用Ranger鉴权”按钮置灰(Hive已启用Ranger鉴权),执行1.e。 “
输出:原字段,但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名,需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。 string 是 无 数据处理规则 字段原值为null时,替换成指定的值。
如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性 支持在Hue WebUI中使用HetuEngine SQL编辑器。 运维巡检工具查询优化。 Flink流读Hudi新增了对消息滞留时间和消息堆积时间的监控。 解决的问题 MRS 3.2.0-LTS.1.5修复问题列表:
return femaleInfo; } }); // 注册表。 DataFrame schemaFemaleInfo = sqlContext.createDataFrame(femaleInfoJavaRDD
执行以下命令关闭客户端日志: set hive.server2.logging.operation.enabled=false; 执行以下命令查看客户端日志是否已关闭,如下图所示即为关闭成功。 set hive.server2.logging.operation.enabled; 父主题: Hive常见问题
单击“IAM用户同步”右侧的“同步”。同步状态在MRS控制台页面选择“操作日志”查看当前用户是否被修改。 是,则可以重新提交Hive作业。 否,则检视上述步骤是否全部已执行完成。 是,请联系运维人员处理。 否,请等待执行完成后再提交Hive作业。 父主题: 作业管理类
检查自动恢复重试存在重试次数限制,最终导致meta表上线失败。因此,HDFS退出安全模式后,需要手动介入进行恢复。 处理步骤 确认HDFS已解决相关异常问题,退出安全模式。 登录FusionInsight Manager页面,选择“集群 > 服务 > HBase”,在概览界面选择“更多