检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
e等组件的WebUI界面报错或部分页面不可用如何处理? 问: 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错,或部分功能不可用怎么办? 答: 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI的用户不具备
为lost_and_found队列,而不是test21队列。 发生上述情况的原因是,任务未完成时,RM状态存储中存储的还是应用程序移动前的队列状态。唯一的解决办法就是等RM重启后,再次移动应用程序,将新的队列状态信息写入状态存储中。 父主题: Yarn常见问题
Hudi的自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题: 开发Spark应用
页面,选择“系统 > 权限 > 用户”,在待操作用户的“操作”栏下选择“更多 > 下载认证凭据”,选择集群信息后单击“确定”,下载keytab文件。 解压keytab文件,使用WinSCP工具将解压得到的“user.keytab”文件上传到待操作节点的Hive客户端安装目录下,例如:“/opt/client”。
页面,选择“系统 > 权限 > 用户”,在待操作用户的“操作”栏下选择“更多 > 下载认证凭据”,选择集群信息后单击“确定”,下载keytab文件。 解压keytab文件,使用WinSCP工具将解压得到的“user.keytab”文件上传到待操作节点的Hive客户端安装目录下,例如:“/opt/client”。
6)的概率写到磁盘空间使用率低的节点。 第三副本等其他后续副本的存储情况,也参考第二个副本的选择方式。 前提条件 集群里DataNode节点的磁盘总容量偏差不能超过100%。 操作步骤 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面。 调整HDFS写数据时的依据的磁盘选择策略参数。搜索“dfs
6)的概率写到磁盘空间使用率低的节点。 第三副本等其他后续副本的存储情况,也参考第二个副本的选择方式。 前提条件 集群里DataNode节点的磁盘总容量偏差不能超过100%。 操作步骤 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面。 调整HDFS写数据时的依据的磁盘选择策略参数。搜索“dfs
如何在不同的namespaces上逻辑地分割数据 问题 如何在不同的namespaces上逻辑地分割数据? 回答 配置: 要在不同namespaces之间逻辑地分割数据,必须更新HDFS,Hive和Spark的“core-site.xml”文件中的以下配置。 改变Hive组件将改
functions能够查到相应的函数,但是无法使用,这是由于连接上的JDBC节点上没有相应路径的jar包,添加上相应的jar包能够查询成功。 图2 场景二异常信息 回答 场景一: add jar语句只会将jar加载到当前连接的JDBCServer的jarClassLoader,不同JDBCServ
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 无。 可能原因 提交的YARN作业程序有问题,例如: spark提交任务参数错误导致。 处理步骤 查看运行失败的作业日志,找到作业失败的具体原因,然后修改并重新提交作业。
Hudi的自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题: 开发Spark应用
Hue WebUI中Oozie编辑器的时区设置问题 问题 在Hue设置Oozie工作流调度器的时区时,部分时区设置会导致任务提交失败。 回答 部分时区存在适配问题,建议时区选择“Asia/Shanghai”,如图1所示。 图1 时区选择 支持的时区可以参考Oozie WebUI页
在“主页”选择所需要操作的集群的图表区的右上角,选择一个时间范围获取监控数据,例如“1周”。 默认为实时数据,无法导出。单击可以自定义监控数据时间范围。 在图表区的右上角,单击,在弹出菜单中选择“导出” 导出指定监控项数据 在“主页”选择所需要操作的集群的图表区任意一个监控报表窗格的右上角,单击。
在首页中单击“CDL”区域的组件插件名称,例如“CDL”,进入如下页面: 依次单击每条策略“Action”列的,删除“Allow Conditions”区域“Select User”列中的“{OWNER}”用户,单击“Save”。 等待10分钟后,使用删除“{OWNER}”权限的用户再次登录CDL
”决定),当内存中的Spark应用个数超过这个数值时,HistoryServer会回收最先缓存的Spark应用,同时会清理掉相应的“temp_shuffle”文件。 当用户正在查看即将被回收的Spark应用时,可能会出现找不到“temp_shuffle”文件的错误,从而导致当前页面无法访问。
Hive表的HDFS目录被误删,但是元数据仍然存在,导致执行任务报错 问题 Hive表HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错。 回答 这是一种误操作的异常情况,需要手动删除对应表的元数据后重试。 例如: 执行以下命令进入控制台: source ${BIGDA
在JobHistory界面中跳转到某个应用的WebUI页面时,JobHistory需要回放该应用的Event log,若应用包含的事件日志较大,则回放时间较长,浏览器需要较长时间的等待。 当前浏览器访问JobHistory WebUI页面需经过httpd代理,代理的超时时间是10分钟,因此,如
L之间的数据,timestamp和data类型字段会报错 问题 使用Hcatalog方式同步Hive和MySQL之间的数据,timestamp和data类型字段会报错: 回答 调整Sqoop源码包中的代码,将timestamp强制转换类型和Hive保持一致。 将Hive中的字段类型修改为String。
使用admin用户访问组件的WebUI界面报错或部分功能不可用 问: 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错,或部分功能不可用怎么办? 答: 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI的用户不具备对应
在Ranger管理界面查看不到创建的MRS用户 问题 在MRS Manager界面创建了一个账户,登录到Ranger管理界面后查看不到该用户。 回答 登录到Ranger管理界面的用户权限不够,需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户。 在Ranger W