检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
data的存储路径。 select name, partition, active, path from system.parts where database = '数据库名' and table= '表名' and active = 1; 图10 冷热数据查询结果 当前系统时间为2024
Flink性能调优规则 及时对Hudi表进行compaction防止Hudi Source算子Checkpoint完成时间过长 当Hudi Source算子Checkpoint完成时间长时，可检查该Hudi表compaction是否正常。因为当长时间不做compaction时list性能会变差。
导入并配置ClickHouse事务样例工程 本章节仅适用MRS 3.3.0及之后版本。 背景信息 获取ClickHouse开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight
导入并配置ClickHouse事务样例工程 本章节仅适用MRS 3.3.0及之后版本。 背景信息 获取ClickHouse开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight
IoTDB应用开发简介 IoTDB介绍 IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，支持对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 本文档内容仅适用于MRS 3.2
MapReduce开源增强特性 MapReduce开源增强特性：JobHistoryServer HA特性 JobHistoryServer（JHS）是用于查看MapReduce历史任务信息的服务器，当前开源JHS只支持单实例服务。JobHistoryServer HA能够解决J
编包并运行Spark应用 操作场景 在程序代码完成开发后，您可以将打包好的jar包上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 Spark应用程序只支持在Linux环境下运行，不支持在Windows环境下运行。
编译并调测Flink应用 操作场景 在程序代码完成开发后，编译jar包并上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是相同的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。
Driver返回码和RM WebUI上应用状态显示不一致 问题 ApplicationMaster与ResourceManager之间通信发生长时间异常时，为什么Driver返回码和RM WebUI上应用状态显示不一致？ 回答 在yarn-client模式下，Spark的Driv
Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败 问题 Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。
查看Spark应用调测结果 操作场景 Spark应用程序运行完成后，您可以查看运行结果数据，也可以通过Spark WebUI查看应用程序运行情况。 操作步骤 查看Spark应用运行结果数据。 结果数据存储路径和格式已经与Spark应用程序指定，您可以通过指定文件中获取到运行结果数据。
Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败 问题 Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。
如何避免Kerberos认证过期？ 对于JAVA应用 在连接HBase、HDFS或者其他大数据组件前，先调用loginUserFromKeytab()创建UGI，然后启动一个定时线程进行检查是否过期并在过期前重新登录。 private static void startCheck
ALM-45333 Presto Worker3线程数超过阈值 告警解释 系统会检查Presto Coordinator和Worker实例的线程使用情况，默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值，则发出告警。 告警属性 告警ID
ALM-45334 Presto Worker4线程数超过阈值 告警解释 系统会检查Presto Coordinator和Worker实例的线程使用情况，默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值，则发出告警。 告警属性 告警ID
ALM-45330 Presto Worker线程数超过阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统会检查Presto Coordinator和Worker实例的线程使用情况，默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值，则发出告警。
Join-To-Live Flink双流Join需要将数据存储在状态后端，目前普遍使用Rocksdb作为状态后端。在TTL过大或无法确定TTL或数据流量增加的场景下，大流量会导致状态数据增加，增加存储压力，从而导致作业稳定性下降，或TTL过期可能出现数据关联不准确。 对于数据关联
Sink的BatchSize参数必须小于Channel的transactionCapacity。 集群Flume配置工具界面篇幅有限，Source、Channel、Sink只展示部分参数，详细请参考如下常用配置。 集群Flume配置工具界面上所展示Customer Source、Customer Channel及Customer
Spark2x日志介绍 日志描述 日志存储路径： Executor运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任
Spark日志介绍 日志描述 日志存储路径： Executor运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任务日
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
