检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
两个不同的进程在进行更新，一个进程写入正确的Principal而另一个却写入了错误的Principal，以至于程序时而正常，时而异常。 解决办法 修改Jaas文件，确保使用的Principal在Keytab文件中存在。 父主题： 使用Kafka
如以上文件，在旧集群是17.9/8MB = 3个block，在新集群17.9/128M = 1个block，因此实际在磁盘的物理大小因分割而导致校验失败。 解决办法 distcp时，增加-pb参数。该参数作用为distcp时候保留block大小，确保新集群写入文件blocksize和老集群一致。 图2
败，原因是提交用户的默认gid并不是ficommon，需要通过ldap命令修改提交用户的gid为9998（ficommon）才可执行。 解决办法 共有两种方式解决该问题。 方式一：通过storm原生页面查看进程堆栈 登录Storm原生界面。 MRS Manager界面操作： 访问MRS
败。 read-process-write模式：将消息消费和生产封装在一个事务中，形成一个原子操作。在一个流式处理的应用中，常常一个服务需要从上游接收消息，然后经过处理后送达到下游，这就对应着消息的消费和生产。 二次开发代码样例如下： // 初始化配置,开启事务特性 Properties
败。 read-process-write模式：将消息消费和生产封装在一个事务中，形成一个原子操作。在一个流式处理的应用中，常常一个服务需要从上游接收消息，然后经过处理后送达到下游，这就对应着消息的消费和生产。 二次开发代码样例如下： // 初始化配置,开启事务特性 Properties
字段的表为聚合表，新插入的数据直接插入到视图表和支持表中，而之前的数据通过手动加载的方式插入视图和支持表。聚合表和内嵌表的建表操作需分别处理。 执行如下操作处理退服节点的物化视图： 先记录下退服节点的物化视图，并将其全部删除。 drop view {database_name}.{table_name};
但是当Job对应的Yarn任务异常退出时，这些临时文件不会被清理，长时间积攒导致该临时目录下的文件数量越来越多，占用存储空间越来越多。 处理步骤 登录集群客户端。 以root用户登录任意一个Master节点，用户密码为创建集群时用户自定义的密码。 如果集群开启Kerberos认
169.53:23011，是10网段的IP地址。由于192网段的IP和10网段的IP不能互通，所以导致访问Spark Web UI界面失败。 处理步骤 登录10.10.169.53客户端机器。 修改“/etc/hosts”文件，将10.120.169.53更改为相对应的192网段的IP地址。
API、C API、Shell、HTTP REST API、WEB UI。 Java API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java APIHDFS Java API接口介绍 HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口HDFS
--replication-factor 2 --partitions 2 --topic test --zookeeper 192.168.234.231:2181 解决办法 保证Kafka服务处于正常状态，且可用Broker不小于设置的replication-factor。 创建命令中ZooKeeper地址信息需要添加/kafka。
192.168.147.231:2181,192.168.147.228:2181,192.168.147.227:2181/kafka 解决办法 属于命令操作有误，具体细节请参考Kafka Shell命令章节。 父主题： 使用Kafka
提交作业，默认2个实例即可，建议迁移到Master节点。 本操作指导只针对集群类型是自定义类型的集群，若集群类型为分析集群，请联系运维人员处理。 操作步骤 在Master节点上添加2个JobServer实例，默认建议为Master2和Master3节点。 登录MRS管理控制台，单击对应的MRS集群。
级越高，打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作：
-XX:MaxNewSize=9G” 300,000,000 “-Xms164G -Xmx164G -XX:NewSize=12G -XX:MaxNewSize=12G” 解决办法 按照规格修改NameNode的内存参数，如这里3600万block，将内存参数调整为“-Xms32G -Xmx32G -XX:NewSize=2G
入文件。 选择“FILE”，表示按文件分割源文件，即每个map处理一个或多个完整的源文件，同一个源文件不可分配至不同map，完成数据导入后保持源文件的目录结构。 选择“SIZE”，表示按大小分割源文件，即每个map处理一定大小的输入文件，同一个源文件可分割至多个map，数据保存至
uid=20032(test) gid=10001(hadoop) groups=10001(hadoop),9998(ficommon),10003(kafka) 解决办法 MRS Manager界面操作： 登录MRS Manager。 选择“系统设置 > 用户管理”。 在操作用户对应的“操作”列，单击“修改”。
况出现，使得退服（或缩容）任务失败，并且没有进行黑名单清理。此时DataNode节点会一直处于退服中的状态，需要人工介入进行黑名单清理。 处理步骤 进入服务实例界面。 MRS Manager界面操作： 登录MRS Manager，在MRS Manager页面，选择“服务管理 > HDFS
ce任务工作流。同时Oozie还是一个Java Web程序，运行在Tomcat容器中。 Oozie工作流通过HPDL（一种通过XML自定义处理的语言，类似JBOSS JBPM的JPDL）来构造。包含“Control Node”（可控制的工作流节点）、“Action Node”。 “Control
加密。这种方式能保证性能但存在安全风险。 integrity：指数据直接传输，即不加密也不鉴权。 为保证数据安全，请谨慎使用这种方式。 解决办法 重新下载客户端，如果是应用程序，更新应用程序中的配置文件。 父主题： 使用HDFS
spark.blacklist.*. 原因分析 内存不足或提交作业时未添加Jar包，导致Spark提交的作业任务长时间处于pending状态。 处理步骤 检查提交作业时是否添加Jar包。 是，执行2。 否，添加Jar包，执行作业正常，操作结束。如果执行作业任务长时间处于pending状态，执行2。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
