-
更改NodeManager的存储目录 - MapReduce服务 MRS
新目录。 更改NodeManager的存储目录以后,需要重新下载并安装客户端。 前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。 规划好新的目录路径,用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 检查环境。 登录Manager,选择“集群 >
-
ALM-14007 NameNode堆内存使用率超过阈值 - MapReduce服务 MRS
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS NameNode堆内存使用率过高,会影响HDFS的数据读写性能。 可能原因 HDFS NameNode配置的堆内存不足。 处理步骤 清除无用文件。 以root用户登录HDFS客户端,用户密码为
-
文件最大打开句柄数设置太小导致读写文件异常 - MapReduce服务 MRS
如果某个DataNode日志中打印“Too many open files”,说明该节点文件句柄不足,导致打开文件句柄失败,然后就会重试往其他DataNode节点写数据,最终表现为写文件很慢或者写文件失败。 解决办法 执行ulimit -a命令查看有问题节点文件句柄数最多设置是多少,如果很小,建议修改成640000。
-
升级Master节点规格 - MapReduce服务 MRS
ALM-12010 Manager主备节点间心跳中断 ALM-12039 OMS数据库主备不同步 ALM-14000 HDFS服务不可用 ALM-14010 NameService服务异常 ALM-14012 Journalnode数据不同步 ALM-16004 Hive服务不可用 ALM-18000
-
在Linux环境中编包并运行Spark程序 - MapReduce服务 MRS
在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致JobHistory部分数据丢失。 父主题: 在Linux环境中调测Spark应用
-
快速配置参数 - MapReduce服务 MRS
Spark_path为Spark客户端的安装路径。 spark.sql.bigdata.register.dialect 用于注册sql解析器。 org.apache.spark.sql.hbase.HBaseSQLParser spark.shuffle.manager 处理数据的方式。有两种实现方式可用:sort和hash。sort
-
快速配置参数 - MapReduce服务 MRS
Spark_path为Spark客户端的安装路径。 spark.sql.bigdata.register.dialect 用于注册sql解析器。 org.apache.spark.sql.hbase.HBaseSQLParser spark.shuffle.manager 处理数据的方式。有两种实现方式可用:sort和hash。sort
-
查看备份恢复任务 - MapReduce服务 MRS
删除备份恢复任务 在任务列表指定任务的“操作”列,选择“更多 > 删除”或单击“删除”,在弹出的对话框中单击“确定”删除备份恢复任务。删除任务后备份的数据默认会保留。 挂起备份任务 在任务列表指定任务的“操作”列,选择“更多 > 挂起”,挂起备份任务。仅支持周期备份的任务,挂起后周期备份任务
-
更新域 - MapReduce服务 MRS
生成的字段名。 操作:配置操作符。 比较值:配置比较值,可直接输入值或输入“#{已存在的字段名}”格式引用字段的具体值。 map 是 无 数据处理规则 首先判断条件是否成立。如果成立,更新字段的值;如果不成立,则不更新。 当更新字段为数值类型时,更新值需要为数值。 当更新字段为字符串类型时,更新操作不能为“-”。
-
更新域 - MapReduce服务 MRS
生成的字段名。 操作:配置操作符。 比较值:配置比较值,可直接输入值或输入“#{已存在的字段名}”格式引用字段的具体值。 map 是 无 数据处理规则 首先判断条件是否成立。如果成立,更新字段的值;如果不成立,则不更新。 当更新字段为数值类型时,更新值需要为数值。 当更新字段为字符串类型时,更新操作不能为“-”。
-
SHOW TABLES - MapReduce服务 MRS
TABLES命令用于显示所有在当前database中的table,或所有指定database的table。 命令格式 SHOW TABLES [IN db_name]; 参数描述 表1 SHOW TABLES参数描述 参数 描述 IN db_name Database名称,仅当需要显示指定Database的所有Table时配置。
-
Host健康检查指标项说明 - MapReduce服务 MRS
at/catalina.log。 如果通过日志无法排除问题,请联系运维人员处理,并发送已收集的故障日志信息。 安装目录及数据目录检查 指标项名称:安装目录及数据目录检查 指标项含义:该指标项首先检查安装目录(默认为“/opt/Bigdata”)所在磁盘分区根目录下的lost+fo
-
使用Presto客户端执行查询语句 - MapReduce服务 MRS
catalogs;”,更多语句请参阅https://prestodb.io/docs/current/sql.html。 启用Kerberos认证的集群使用Presto查询Hive Catalog的数据时,运行Presto客户端的用户需要有Hive表的访问权限,并且需要在Hive beeline中执行命令grant
-
开源Kylin 3.x与MRS 1.9.3对接时存在Jetty兼容性问题如何处理? - MapReduce服务 MRS
LIN_HOME}/bin/sample.sh验证kylin是否正常运行。 在华为云严选商城中有提供基于Apache Kylin的企业级大数据智能分析平台Kyligence Enterprise,您可以根据需要选择使用。 父主题: 周边生态对接使用
-
ALM-19026 HBase存在损坏的WAL文件 - MapReduce服务 MRS
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 HBase存在损坏的WAL文件,可能会导致数据丢失。 可能原因 WAL文件内容损坏。 处理步骤 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,查看
-
在Linux环境中编包并运行Spark程序 - MapReduce服务 MRS
在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致JobHistory部分数据丢失。 父主题: 在Linux环境中调测Spark应用
-
配置仅Hive管理员用户能创建库和在default库建表 - MapReduce服务 MRS
default库新建表。请充分考虑实际应用场景,再决定是否作出调整。 因为对执行用户做了限制,使用非管理员用户执行建库、表脚本迁移、重建元数据操作时需要特别注意,防止错误。 操作步骤 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理
-
在本地Windows环境中调测MapReduce应用 - MapReduce服务 MRS
的“../src/mapreduce-example-security/conf”路径下。 已参考规划MapReduce统计样例程序数据将待处理数据上传至HDFS。 运行统计样例程序 确保样例工程依赖的所有jar包已正常获取。 在IntelliJ IDEA开发环境中,打开样例工程中“LocalRunner
-
查看Kafka Topic信息 - MapReduce服务 MRS
isk(Used|Total)”和“Memory(Used|Total)”。 在“Brokers Metrics”处可查看Broker节点数据流量的jmx指标,包括在不同时段的时间窗口内,Broker节点平均每秒流入消息条数, 每秒流入消息字节数, 每秒流出消息字节数,每秒失败的
-
执行load data inpath命令报错 - MapReduce服务 MRS
本地文件系统上的文件。 文件名不能以下横线(_)或点(.)开头,以这些开头的文件会被忽略。 如下所示,如果用户test_hive load数据,正确的权限如下: [root@192-168-1-18 duan]# hdfs dfs -ls /tmp/input2 16/03/21