-
编译并运行Flink应用 - MapReduce服务 MRS
文件名命令为用户赋予读、写、执行权限,而属组用户和其他用户只有读、执行权限。可以默认,也可以自行设置。 <windowTime> 指窗口时间大小,以分钟为单位。可以默认,也可以自行设置。 运行向Kafka生产并消费数据样例程序(Scala和Java语言)。 执行命令启动程序生产数据。 bin/flink
-
导入并配置HiveHCatalog样例工程 - MapReduce服务 MRS
导入并配置Hive HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的HCatalog接口样例代码,需要完成下面的操作。 以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压
-
导入并配置HiveHCatalog样例工程 - MapReduce服务 MRS
导入并配置Hive HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的HCatalog接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取样例代
-
ALM-12180 磁盘卡IO - MapReduce服务 MRS
告警属性 告警ID 告警级别 是否自动清除 12180 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 如果IO持续飙高,会对业务操作产生影响,导致业务受损。
-
安装使用集群外客户端时,连接集群端口失败 - MapReduce服务 MRS
如果ping不同,检查映射配置与网络设置。 关闭客户端节点防火墙设置。 执行如下命令可查看是否关闭: systemctl status firewalld(不同的操作系统查询命令不一致,此命令以CentOS为例) 如下图所示:dead表示关闭。 防火墙开则影响通信,执行如下命令关闭防火墙: service firewalld
-
内存不足导致HDFS NameNode启动失败 - MapReduce服务 MRS
NameNode启动失败 问题背景与现象 场景一:重启HDFS服务后,HDFS的状态为Bad,且NameNode实例状态异常,并且很久没有退出安全模式。 场景二:NameNode启动时,启动超时后启动失败,原生页面无法打开。 原因分析 在NameNode运行日志(/var/log/Bigdata/h
-
调测HBase Phoenix样例程序 - MapReduce服务 MRS
conf”配置文件的“renew_lifetime = 0m”配置项。 HBase应用程序运行完成后,可直接通过运行结果查看应用程序运行情况。 运行结果出现如下信息表示程序运行成功。 2020-03-13 14:54:13,369 INFO [main] client.HBaseAdmin:
-
ALM-12180 磁盘卡IO(2.x及以前版本) - MapReduce服务 MRS
告警属性 告警ID 告警级别 是否自动清除 12180 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 如果IO持续飙高,会对业务操作产生影响,导致业务受损。
-
添加GAUSSDB数据源 - MapReduce服务 MRS
parallel-read-enabled 是否使用并行数据读取功能 启用并行数据读取功能将基于节点分布和“max-splits”参数值来确定实际的split数。 并行读取将与数据源创建多个连接,被依赖的数据源应当具备支持负载的能力。 false split-type 并行数据读取类型 NODE:基于GaussDB数据源DN节点划分并行度
-
在Linux环境中调测HDFS应用 - MapReduce服务 MRS
操作场景 HDFS应用程序支持在Linux环境中运行。在程序代码完成开发后,可以上传Jar包至准备好的Linux环境中运行。 HDFS应用程序运行完成后,可直接通过运行结果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。 前提条件 已安装客户端时: 已安装HDFS客户端。
-
开发和部署HetuEngine Function Plugin - MapReduce服务 MRS
打包Maven项目,获取target目录下的myfunctions-0.0.1-SNAPSHOT目录,最终项目整体结构如下图所示。 部署Function Plugin 部署前需要确认: HetuEngine服务处于正常状态。 HDFS和HetuEngine客户端已经安装到集群节点,例如“/opt/client”目录下。
-
Superior Scheduler REST API接口介绍 - MapReduce服务 MRS
Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:port as SS_REST_SERVER.的形式指示YARN。 下面使用HTTP作为
-
Superior Scheduler REST API接口介绍 - MapReduce服务 MRS
Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:port as SS_REST_SERVER.的形式指示YARN。 下面使用HTTPS作
-
Manager日志清单 - MapReduce服务 MRS
NodeAgent运行日志 cert.log 证书日志 agentplugin.log 监控agent侧插件运行日志 omaplugin.log OMA插件运行日志 diskhealth.log 磁盘健康检查日志 supressionAlarm.log 告警脚本运行日志 updateHostFile
-
Superior Scheduler REST API接口介绍 - MapReduce服务 MRS
Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:portasSS_REST_SERVER.的形式指示YARN。 下面使用HTTP作为UR
-
Superior Scheduler REST API接口介绍 - MapReduce服务 MRS
Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:portasSS_REST_SERVER.的形式指示YARN。 下面使用HTTPS作为U