检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Flume客户端从Kafka采集日志保存到HDFS 操作场景 该任务指导用户使用Flume客户端从Kafka客户端的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，
问： Flink任务运行失败，报错如下： Caused by: java.lang.NoSuchFieldError: SECURITY_SSL_ENCRYPT_ENABLED 答： 客户代码里面打包的第三方依赖包和集群包冲突，提交到MRS集群运行失败。 需修改相关的依赖包，并
使用Flume客户端从Kafka采集日志保存到HDFS 该任务指导用户使用Flume客户端从Kafka客户端的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式
Spark任务运行失败 问题现象 报错显示executor出现OOM。 失败的task信息显示失败原因是lost task xxx。 原因分析 问题1：一般出现executor OOM，都是因为数据量过大，也有可能是因为同一个executor上面同时运行的task太多。 问题2：
用户，例如用户名为“clickhouseuser”。 使用ClickHouse客户端 安装MRS集群客户端，具体请参考安装客户端章节。 以客户端安装用户登录客户端所在的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source
读取HDFS文件失败，报错“FileNotFoundException” 问题背景与现象 有MapReduce任务所有map任务均成功，但reduce任务失败，查看日志发现报异常“FileNotFoundException...No lease on...File does not
如何清理由于建表失败残留在ZooKeeper的table-lock节点下的表名 问题 安全模式下，由于建表失败，在ZooKeeper的table-lock节点（默认路径/hbase/table-lock）下残留有新建的表名，请问该如何清理？ 回答 操作步骤如下： 在安装好客户端的环境下
在“客户端管理”界面选择待操作的客户端，单击“导出全部”可导出所有已注册的客户端信息到本地。 客户端管理界面上组件列表栏只展示有真实客户端的组件，因此部分没有客户端的组件和客户端特殊的组件不会显示在组件列表栏。 父主题： 管理MRS集群客户端
账号锁定导致启动Kafka组件失败 问题背景与现象 新创建的MRS集群，启动Kafka服务失败。 查看服务启动日志，显示认证失败。 /home/omm/kerberos/bin/kinit -k -t ${BIGDATA_HOME}/etc/2_15_ Broker /kafka
为什么创建Hive表失败？ 问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b
zookeeper.client.acl”默认为“creator”，仅创建者有权限访问，新用户无法访问ZooKeeper上的目录导致yarn-session.sh执行失败。 解决办法 修改客户端配置文件“conf/flink-conf.yaml”中配置项“high-availability
使用Spark客户端 MRS集群创建完成后，可以通过客户端去创建和提交作业。客户端可以安装在集群内部节点或集群外部节点上： 集群内部节点：MRS集群创建完成后，集群内的master和core节点默认已经安装好客户端，详情请参见集群内节点使用MRS客户端章节，登录安装客户端的节点。
Consumer消费数据失败，提示“SchemaException: Error reading field” 问题背景与现象 Consumer来消费Kafka中指定Topic的消息时，发现无法从Kafka中获取到数据。 提示如下错误： org.apache.kafka.common
tab文件。“人机”用户第一次登录时需修改密码。（普通模式不涉及） 使用HDFS客户端 安装客户端，详细操作请参考使用MRS客户端。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source
Impalad JDBC连接数超过阈值 告警解释 以30s为周期检测连接到该Impalad节点的客户端连接数，当检测到的连接数超过自定义阈值（默认60）时，系统产生此告警。 当系统检测到客户端连接数减少到阈值以下时，告警将自动解除。 告警属性 告警ID 告警级别 是否可自动清除 29005
为什么创建Hive表失败？ 问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b
instant_time=>'20220915113127525'); 注意事项 只能依次回滚最新的commit时间戳 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题： Hudi CALL COMMAND语法说明
集群上下电之后HBase启动失败 问题背景与现象 集群的ECS关机重启后，HBase启动失败。 原因分析 查看HMaster的运行日志，发现有报大量的如下错误： 2018-03-26 11:10:54,185 | INFO | hadoopc1h3,21300,15220316
set price = price *2, name = 'a2' where id = 2; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题： Hudi DML语法说明
JDBCServer连接失败 问题现象 提示ha-cluster不识别（unknowHost或者必须加上端口）。 提示连接JDBCServer失败。 原因分析 问题1：使用spark-beeline命令连接JDBCServer，因为MRS_3.0以前的JDBCServer是HA模式，因此需要使用特定的URL和MRS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
