检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark on Yarn的client模式下spark-submit提交任务出现FileNotFoundException异常 问题 在omm用户(非root用户)下,通过spark-submit提交yarn-client模式的任务,会出现FileNotFoundException
每月 分析日志 收集集群节点服务器的硬件日志,例如BMC系统日志,并进行分析。 收集集群节点服务器的操作系统日志,并进行分析。 收集集群日志,并进行分析。 诊断网络 对集群的网络健康状态进行分析。 管理硬件 检查设备运行的机房环境,安排清洁设备。 父主题: MRS集群运维
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。
运行Python样例代码无需通过Maven打包,只需要上传user.keytab、krb5.conf 文件到客户端所在服务器上。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。
服务器需要做类型推断,可能会有额外耗时。
使用HBase过滤器Filter 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤,通过设置一些过滤条件来实现,如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample
获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn ResourceManager主节点IP,如“10.1.130.11”。
在Hue WebUI使用文件浏览器 操作场景 用户需要使用图形化界面管理HDFS文件时,可以通过Hue完成任务。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,
访问Hue原生页面时间长,文件浏览器报错Read timed out 问题 访问Hue原生页面时页面加载时间较长,访问Hue的HDFS文件浏览器报错Read timed out,如何解决。 回答 检查HDFS服务中是否安装Httpfs实例。 否,请联系运维人员处理。 是,重启HttpFS
), [CMS Perm : 27335K->27335K(45592K),2.5820080 SECS] [Times: user=2.63, sys0.00, real=2.59 secs] 用户业务配置的Spooldir source的deletePolicy策略是立即删除(
运行Python样例代码无需通过Maven打包,只需要上传user.keytab、krb5.conf 文件到客户端所在服务器上。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。
运行Python样例代码无需通过Maven打包,只需要上传user.keytab、krb5.conf 文件到客户端所在服务器上。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。
将Oracle数据库中的数据导入HDFS时各连接器的区别 问题 使用Loader将Oracle数据库中的数据导入到HDFS中时,可选择的连接器有generic-jdbc-connector、oracle-connector、oracle-partition-connector三种,
执行Spark任务报内存不足告警如何处理? 问题现象 执行Spark任务就会报内存不足告警,告警id:18022,可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数,限制executor的核数和内存。 例如设置如下: set hive.execution.engine
解决“Error:(123,49) java: -source 1.5 中不支持 diamond 运算符”错误: 得到输出包: 上传jar包到Linux服务器执行。 父主题: Kudu开发指南(普通模式)
解决“Error:(123,49) java: -source 1.5 中不支持 diamond 运算符”错误: 得到输出包: 上传jar包到Linux服务器执行。 父主题: Kudu开发指南(安全模式)
以root用户登录异常FlinkServer实例所在的服务器,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令检查另一个FlinkServer实例的服务器是否可达。 ping 另一个FlinkServer实例IP 是,执行8。 否,执行6。
在Hue WebUI使用元数据浏览器 操作场景 用户需要使用图形化界面在集群中管理Hive的元数据,可以通过Hue完成任务。 元数据管理器使用介绍 访问Hue WebUI,请参考访问Hue WebUI界面。 查看Hive表的元数据 在左侧导航栏单击表,单击某一表名称,界面将显示Hive
在Hue WebUI使用作业浏览器 操作场景 用户需要使用图形化界面查看集群中所有作业时,可以通过Hue完成任务。 访问作业浏览器 访问Hue WebUI,请参考访问Hue WebUI界面。 单击作业。 默认显示当前集群的所有作业。 作业浏览器显示的数字表示集群中所有作业的总数。
获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn ResourceManager主节点IP,如10.1.130.11。