检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
只有集群处于“运行中”状态时才能提交作业。 作业提交成功后默认为“已接受”状态,不需要用户手动执行作业。 查看作业执行结果。 进入“作业管理”页面,查看作业是否执行完成。 作业运行需要时间,作业运行结束后,刷新作业列表,查看作业列表如图5所示。 图5 作业列表 作业执行成功或失败后都不能再次执行,只能新增或
Hive启用Ranger鉴权后,在Hue页面能查看到没有权限的表和库 问题现象 普通集群(未开启Kerberos认证)中,Hive启用Ranger鉴权后,集群用户在Hue页面能查看到没有被授权的数据表和数据库内容。 本章节仅适用于MRS 3.2.1及之后版本。 原因分析 Hive
为什么CDL任务执行后Hudi中没有接收到数据 现象描述 抓取数据到Hudi中的CDL任务运行后,Kafka中有相关数据,Spark的RDD处理中无记录,Hudi中没有相关数据,并且Yarn日志报错:TopicAuthorizationException: No authorized
使用Hue提交Oozie作业 使用Hue创建工作流 使用Hue提交Oozie Hive2作业 使用Hue提交Oozie HQL脚本 使用Hue提交Oozie Spark2x作业 使用Hue提交Oozie Java作业 使用Hue提交Oozie Loader作业 使用Hue提交Oozie
使用Hue提交Oozie作业 使用Hue创建工作流 使用Hue提交Oozie Hive2作业 使用Hue提交Oozie HQL脚本 使用Hue提交Oozie Spark2x作业 使用Hue提交Oozie Java作业 使用Hue提交Oozie Loader作业 使用Hue提交Oozie
只有集群处于“运行中”状态时才能提交作业。 作业提交成功后默认为“已接受”状态,不需要用户手动执行作业。 查看作业执行结果。 进入“作业管理”页面,查看作业是否执行完成。 作业运行需要时间,作业运行结束后,刷新作业列表,查看作业列表如图5所示。 图5 作业列表 作业执行成功或失败后都不能再次执行,只能新增或
Impala 4.3.0版本,开启Ranger后如何对接kudu外表? 问题 开启Ranger鉴权后,使用如下语句创建外表报错: CREATE TABLE db.table (id INT, dt TIMESTAMP, PRIMARY KEY(id)) PARTITION BY HASH
Impala对接低版本kudu后,无法执行join 问题 Impala 4.3.0版本(MRS 3.3.1-LTS和MRS 3.5.0-LTS)对接低版本的kudu(MRS 3.0.5)后,无法执行join,报错如下: Unable to open scanner for node
使用Ranger(MRS 1.9.2) 创建Ranger集群 访问Ranger WebUI及同步Unix用户到Ranger WebUI 在Ranger中配置Hive/Impala的访问权限 在Ranger中配置HBase的访问权限
CDL任务运行一段时间后发生“104”或“143”报错 现象描述 CDL任务运行一段时间后,Yarn任务失败,并返回状态码“104”或“143”。下图为返回状态码“143”: 可能原因 抓取到Hudi中的一批数据量过大,导致任务内存不足。 处理步骤 登录FusionInsight
客户端使用类 如何关闭ZooKeeper的SASL认证? 在MRS集群外客户端中执行kinit报错“Permission denied”如何处理? ClickHouse客户端执行SQL查询时报内存不足如何处理? MRS如何连接spark-shell? MRS如何连接spark-beeline?
cache table使用指导 问题 cache table的作用是什么?cache table时需要注意哪些方面? 回答 Spark SQL可以将表cache到内存中,并且使用压缩存储来尽量减少内存压力。通过将表cache,查询可以直接从内存中读取数据,从而减少读取磁盘带来的内存开销。
HDFS进入安全模式导致HBase服务异常,退出安全模式后HBase如何快速恢复 现象描述 MRS 3.5.0及之后版本,HDFS进入安全模式后导致HBase服务异常,退出安全模式后HBase如何快速恢复? 原因分析 HDFS进入安全模式后HBase服务异常,导致meta表下线;HDFS退出安全模式后,下线的meta表
使用MRS客户端 安装MRS客户端 更新MRS客户端 父主题: 附录
创建大量ZNode后ZooKeeper Server启动失败 问题 创建大量ZNode后,ZooKeeper集群处于故障状态不能自动恢复,尝试重启失败,ZooKeeper Server日志显示如下内容: Follower: 2016-06-23 08:00:18,763 | WARN
创建大量znode后ZooKeeper Server启动失败 问题 创建大量znode后,ZooKeeper集群处于故障状态不能自动恢复,尝试重启失败,ZooKeeper Server日志显示如下内容: follower: 2016-06-23 08:00:18,763 | WARN
使用MRS客户端 安装客户端(3.x及之后版本) 安装客户端(3.x之前版本) 更新客户端(3.x及之后版本) 更新客户端(3.x之前版本) 父主题: 常见操作
配置ResourceManager重启后自动加载Container信息 配置场景 YARN Restart特性包含两部分内容:ResourceManager Restart和NodeManager Restart。 当启用ResourceManager Restart时,升主后的ResourceM
配置ResourceManager重启后自动加载Container信息 配置场景 YARN Restart特性包含两部分内容:ResourceManager Restart和NodeManager Restart。 当启用ResourceManager Restart时,升主后的ResourceM
xamples/streaming/WordCount.jar 作业提交成功后,客户端界面显示如下。 图2 在Yarn上提交作业成功 图3 启动session成功 图4 在session中提交作业成功 使用运行用户进入Yarn服务的原生页面,找到对应作业的application,