检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败 问题 Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。
优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container
配置HBase应用输出运行日志 功能介绍 将HBase客户端的日志单独输出到指定日志文件，与业务日志分开，方便分析定位HBase的问题。 如果进程中已经有log4j的配置，需要将“hbase-example\src\main\resources\log4j.properties”
配置HBase应用输出运行日志 功能介绍 将hbase client的日志单独输出到指定日志文件，与业务日志分开，方便分析定位hbase的问题。 如果进程中已经有log4j的配置，需要将hbase-example\src\main\resources\log4j.properti
Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败 问题 Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。
Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败 问题 Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。
执行analyze table语句，因资源不足出现任务卡住 问题 使用spark-sql执行analyze table语句，任务一直卡住，打印的信息如下： spark-sql> analyze table hivetable2 compute statistics; Query ID
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。
Producer发送数据失败，报错“TOPIC_AUTHORIZATION_FAILED” 问题现象 使用MRS安装集群，主要安装ZooKeeper、Kafka。 在使用Producer向Kafka发送数据功能时，发现客户端报错：TOPIC_AUTHORIZATION_FAILED。
YARN资源池的所有节点都被加入黑名单，任务一直处于运行状态 问题 为什么YARN资源池的所有节点都被加入黑名单，而YARN却没有释放黑名单，导致任务一直处于运行状态？ 回答 在YARN中，当一个APP的节点被AM（ApplicationMaster）加入黑名单的数量达到一定比例
YARN资源池的所有节点都被加入黑名单，任务一直处于运行状态 问题 为什么YARN资源池的所有节点都被加入黑名单，而YARN却没有释放黑名单，导致任务一直处于运行状态？ 回答 在YARN中，当一个APP的节点被AM（ApplicationMaster）加入黑名单的数量达到一定比例
在Linux中调测Impala JDBC应用 前提条件 已安装MRS客户端，具体请参见： 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端。 MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 操作步骤 在运行调测环境上创建一个目录作为
Kafka SimpleConsumer API使用样例 功能介绍 下面代码片段在com.huawei.bigdata.kafka.example.SimpleConsumerDemo类中，用于实现使用新SimpleConsumer API订阅Topic，并进行消息消费。（注意：SimpleConsumer
MapReduce Shuffle调优 操作场景 Shuffle阶段是MapReduce性能的关键部分，包括了从Map task将中间数据写到磁盘一直到Reduce task复制数据并最终放到reduce函数的全部过程。这部分Hadoop提供了大量的调优参数。 图1 Shuffle过程
在Linux环境中调测HDFS应用 操作场景 HDFS应用程序支持在安装HDFS客户端的Linux环境中运行。在程序代码完成开发后，可以上传Jar包至Linux客户端环境中运行应用。 HDFS应用程序只支持在Linux环境下运行，不支持在Windows环境下运行。 前提条件 已安装HDFS客户端。
DESCRIBE 语法 DESCRIBE [EXTENDED| FORMATTED] table_name DESCRIBE [EXTENDED| FORMATTED] table_name PARTITION (partition_spec) 描述 查看指定表的元数据信息。该语
在Linux环境中调测MapReduce应用 操作场景 在程序代码完成开发后，您可以在Linux环境中运行应用。 MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果查看程序运行情况。 登录MapReduce WebUI查看应用程序运行情况。
Consumer初始化成功但是无法从Kafka中获取指定Topic消息 问题背景与现象 使用MRS安装集群，主要安装ZooKeeper、Flume、Kafka、Storm、Spark。 使用Storm、Spark、Flume或者自己编写consumer代码来消费Kafka中指定T
配置Spark通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Spark客户端创建Location为OBS路径的表。 集群安装后使用spark beeline 登录FusionInsight Manager，选择“集群 > 服务 >
Doris数据导入规范 该章节主要介绍Doris数据导入规范。 Doris数据导入建议 禁止高频执行update、delete或truncate操作，推荐几分钟执行一次，使用delete必须设置分区或主键列条件。 禁止使用INSERT INTO tbl1 VALUES (“1”)
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
