检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Flume客户端从Kafka采集日志保存到HDFS 该任务指导用户使用Flume客户端从Kafka客户端的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端长时间无响应。 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapR
的Loader客户端进行配置。 Loader不兼容旧版本客户端,如果重新安装集群或Loader服务,请重新下载并安装客户端,然后正常使用客户端。 本章节适用于MRS 3.x及后续版本。 前提条件 完成Loader客户端的安装。使用非root用户安装Loader客户端时,如果其他用
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端长时间无响应。 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapR
完成了Loader客户端的安装与配置,具体操作请参见使用命令行运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点,具体操作请参见使用命令行运行Loader作业。 执行以下命令,进入“backup.properties”文件所在目录。例如,Loader客户端安装目录为
完成了Loader客户端的安装与配置,具体操作请参见使用客户端运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点,具体操作请参见使用客户端运行Loader作业。 执行以下命令,进入“backup.properties”文件所在目录。例如,Loader客户端安装目录为
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端提示如下信息后长时间无响应。 16/03/03 16:44:56 INFO hdfs.DFSClient: Created HDFS_DELEGATION_TOKEN token
管理MRS集群用户 创建MRS集群用户 修改MRS集群用户信息 锁定MRS集群用户 删除MRS集群用户 初始化MRS集群用户密码 下载MRS集群用户认证凭据文件 父主题: 管理MRS集群用户
管理MRS集群租户 MRS多租户简介 MRS多租户使用流程 配置MRS租户 管理MRS租户资源 切换MRS租户资源调度器 父主题: 管理MRS集群
用户可以在MRS集群的客户端中提交和删除Storm拓扑等基本功能。 前提条件 已安装MRS集群客户端,例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 操作步骤 根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置
Flink客户端执行命令报错“Error while parsing YAML configuration file : security.kerberos.login.keytab” 问题背景与现象 客户端安装成功,执行客户端命令例如yarn-session.sh时报错,提示如下:
使用普通集群Core节点上安装的HDFS客户端时报错“error creating DomainSocket” 用户问题 普通集群在Core节点新建用户安装使用HDFS客户端报错。 问题现象 普通集群在Core节点新建用户安装使用客户端报错如下: 2020-03-14 19:16:17
Spark多服务场景下,普通用户无法登录Spark客户端 问题 Spark存在多个服务场景时,当使用多服务时,普通用户无法登录spark-beeline。报错如下图所示: 原因 当Hive同时存在多场景服务时,普通用户不属于Hive用户组,没有Hive目录权限,导致无法登录。 解决方法
unclean.leader.election.enable 处理步骤 前提条件 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。
如何获取Topic在Broker实例的分布信息? 前置操作 前提条件 已安装Kafka、ZooKeeper客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。
HBase应用程序支持在已安装或未安装HBase客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至Linux环境中运行应用。 前提条件 已安装客户端时: 已安装HBase客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和I
安装并启动Flume客户端。安装客户端详细操作请参考安装Flume客户端。 已安装Flume客户端场景 在客户端flume-check.properties文件中配置client.per-check.shell,指向plugin.sh的绝对路径。 例如Flume客户端安装路径为“/o
MRS多租户简介 多租户概述 背景介绍: 现代企业的数据集群在向集中化和云化方向发展,企业级大数据集群需要满足: 不同用户在集群上运行不同类型的应用和作业(分析、查询、流处理等),同时存放不同类型和格式的数据。 某些类型的用户(例如银行、政府单位等)对数据安全非常关注,很难容忍将自己的数据与其他用户的放在一起。
Flink客户端执行命令报错“Error while parsing YAML configuration file : security.kerberos.login.principal:pippo” 问题背景与现象 客户端安装成功,执行客户端命令例如yarn-session.sh时报错,提示如下:
已安装HBase客户端,例如安装目录为“/opt/client”。以下操作的客户端目录只是举例,请根据实际安装目录修改。在使用客户端前,需要先下载并更新客户端配置文件,确认Manager的主管理节点后才能使用客户端。 操作步骤 以客户端安装用户,登录安装HBase客户端的节点。 进入HBase客户端安装目录: