-
在Flink WebUI和Linux环境中调测Flink应用 - MapReduce服务 MRS
前提条件 集群已安装Flink组件,并且添加了FlinkServer实例。 已安装包含Flink服务的集群客户端,例如安装路径为“/opt/client”。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。
-
使用Yarn客户端提交任务 - MapReduce服务 MRS
使用Yarn客户端 安装客户端,具体请参考安装MRS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。
-
使用客户端运行Loader作业 - MapReduce服务 MRS
当用户需要通过shell脚本来更新与运行Loader作业时,必须对已安装的Loader客户端进行配置。 Loader不兼容旧版本客户端,如果重新安装集群或Loader服务,请重新下载并安装客户端,然后正常使用客户端。 前提条件 完成Loader客户端的安装。
-
HDFS客户端使用实践 - MapReduce服务 MRS
(普通模式不涉及) 使用HDFS客户端 安装客户端,具体请参考安装MRS客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。
-
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 - MapReduce服务 MRS
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后,在客户端安装节点的/tmp目录下,发现残留了很多blockmgr-开头和spark-开头的目录。
-
Hudi对接OBS文件系统 - MapReduce服务 MRS
Hudi对接OBS文件系统 使用安装客户端用户登录客户端安装节点。 配置环境变量。
-
配置ClickHouse对接普通模式Kafka - MapReduce服务 MRS
参考Kafka客户端使用实践,登录到Kafka客户端安装目录。 以Kafka客户端安装用户,登录Kafka安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。
-
MRS 2.1.1.1补丁说明 - MapReduce服务 MRS
安装补丁的影响 安装MRS 2.1.1.1补丁期间会重启MRS Manager。 MRS 2.1.1.1补丁安装完成之后,需要关闭指标共享,重新打开指标共享。 父主题: MRS补丁说明
-
Hudi组件对接OBS - MapReduce服务 MRS
Hudi组件对接OBS 对接OBS 使用客户端安装用户登录客户端安装节点。 配置环境变量。
-
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 - MapReduce服务 MRS
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后,在客户端安装节点的/tmp目录下,发现残留了很多blockmgr-开头和spark-开头的目录。
-
MRS 3.1.0版本补丁说明 - MapReduce服务 MRS
安装完成后必须的手动操作 支持HDFS单副本检测能力 MRS 3.1.0.0.2补丁以及之后的补丁中,会增加HDFS单副本检测和告警能力,新增是否允许写入单副本数据配置项dfs.single.replication.enable,对于新建集群该值配置为false,因为HDFS单副本并不属于
-
在Linux环境中调测HBase应用 - MapReduce服务 MRS
将应用开发环境中生成的样例项目Jar包(非依赖jar包)上传至客户端运行环境的“客户端安装目录/HBase/hbase/lib”目录,还需将准备连接HBase集群配置文件获取的配置文件和认证文件复制到“客户端安装目录/HBase/hbase/conf”目录。
-
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 - MapReduce服务 MRS
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后,在客户端安装节点的/tmp目录下,发现残留了很多blockmgr-开头和spark-开头的目录。
-
在Linux环境中调测HBase应用 - MapReduce服务 MRS
将应用开发环境中生成的样例项目Jar包(非依赖jar包)上传至客户端运行环境的“客户端安装目录/HBase/hbase/lib”目录,还需将表1获取的例工程所需的配置文件复制到“客户端安装目录/HBase/hbase/conf”目录。
-
在Linux环境中调测HBase应用 - MapReduce服务 MRS
将应用开发环境中生成的样例项目Jar包(非依赖jar包)上传至客户端运行环境的“客户端安装目录/HBase/hbase/lib”目录,根据具体样例项目“README.md”检查“客户端安装目录/HBase/hbase/conf”目录,将样例工程中配置文件及认证文件复制至该目录。
-
生成Flume服务端和客户端的配置文件 - MapReduce服务 MRS
如需使用加密方式,请参考配置Flume加密传输数据采集任务。 前提条件 已安装Flume客户端。 已成功安装集群及Flume服务。 确保集群网络环境安全。 操作步骤 配置Flume角色客户端参数。
-
Kafka Shell命令介绍 - MapReduce服务 MRS
Kafka Shell命令介绍 前提条件 Kafka的Linux客户端已安装。安装方法可参考安装客户端。 常用的Shell命令指南 Shell命令执行方法: 进入Kafka客户端任意目录。 初始化环境变量。
-
如何修改FlumeClient的日志为标准输出日志? - MapReduce服务 MRS
修改完成后,请检查docker配置信息是否正确。 父主题: 大数据业务开发
-
生成Flume服务端和客户端的配置文件 - MapReduce服务 MRS
生成Flume服务端和客户端的配置文件 操作场景 该操作指导安装工程师在集群及Flume服务安装完成后,分别配置Flume服务的服务端和客户端参数,使其可以正常工作。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。
-
准备OpenTSDB应用开发环境 - MapReduce服务 MRS
准备OpenTSDB应用开发环境 选择Windows开发环境下,安装Eclipse,安装JDK。 请安装JDK1.8及以上版本。Eclipse使用支持JDK1.8及以上的版本,并安装JUnit插件。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。