检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataNode写失败的日志 短时间内写入大量文件导致这种情况，因此DataNode内存不足。 图3 写入大量文件导致DataNode内存不足 解决办法 检查DataNode内存配置，以及机器剩余内存是否充足。 增加DataNode内存，并重启DataNode。 父主题： 使用HDFS
2-byte value: 32970 at org.postgresql.core.PGStream.SendInteger2(PGStream.java:199) at org.postgresql.core.v3.QueryExecutorImpl.se
ALM-45326 Presto Coordinator线程数超过阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统会检查Presto Coordinator和Worker实例的线程使用情况，默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值，则发出告警。
多。 原因分析 客户端安装在该节点，根据HDFS数据副本机制，第一个副本会存放在本地机器，最终导致节点磁盘被占满，而其他节点空闲很多。 解决办法 针对已有不平衡的数据，执行balance脚本均衡数据。 /opt/client/HDFS/hadoop/sbin/start-balancer
te.xml将发生变化，需要下载最新的core-site.xml并放入到打包hive二次开发样例代码进程的classpath路径下面。 解决办法 下载集群Hive最新的客户端，获取最新的“core-site.xml”。 将core-site.xml放入到打包Hive二次开发样例代码进程的classpath路径下面。
ALM-45331 Presto Worker1线程数超过阈值 告警解释 系统会检查Presto Coordinator和Worker实例的线程使用情况，默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值，则发出告警。 告警属性 告警ID
ALM-45332 Presto Worker2线程数超过阈值 告警解释 系统会检查Presto Coordinator和Worker实例的线程使用情况，默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值，则发出告警。 告警属性 告警ID
的Bad Records管理，请参见表2。 表2 Bad Records Logger 配置项 默认值 描述 BAD_RECORDS_LOGGER_ENABLE false 若设置为true，则将创建Bad Records日志文件，其中包含Bad Records的详细信息。 BAD_RECORDS_ACTION
java:467) 解决办法 若Flume数据写入的组件未启动，启动对应组件；若组件异常，请联系服务技术支持。 Sink未启动，检查配置文件是否配置正确，若配置错误，则正确修改配置文件后重启Flume进程，如果配置正确，则查看日志错误信息，根据具体错误信息制定解决办法。 父主题： 使用Flume
Spark on Hudi开发规范 SparkSQL建表参数规范 Spark增量读取Hudi参数规范 Spark异步任务执行表compaction参数设置规范 Spark on Hudi表数据维护规范 Spark并发写Hudi建议 Spark读写Hudi资源配置建议 Spark On
该样例工程提供以下JDBC/HCatalog样例程序： Hive JDBC处理数据Java示例程序。 本工程使用JDBC接口连接Hive，在Hive中执行相关数据操作。使用JDBC接口实现创建表、加载数据、查询数据等功能。 Hive HCatalog处理数据Java示例程序。 使用HCatalog接口实现通过Hive命令行方式对MRS
在以下场景中，INSERT INTO CARBON TABLE命令会失败： 当源表和目标表的列数据类型不同时，源表中的数据将被视为Bad Records，则INSERT INTO命令会失败。 源列上的aggregartion函数的结果超过目标列的最大范围，则INSERT INTO命令会失败。
一般在迁移没有正常执行完成时用来清理ZooKeeper上的中间状态信息。 Kafka集群IP端口号安全模式下是21007，普通模式下是9092。 异常情况处理 在使用Kafka均衡工具进行Partition迁移的过程中，如果出现集群中Broker故障导致均衡工具的执行进度阻塞，这时需要人工介入来恢复，分为以下几种场景：
一般在迁移没有正常执行完成时用来清理ZooKeeper上的中间状态信息。 Kafka集群IP端口号安全模式下是21007，普通模式下是9092。 异常情况处理 在使用Kafka均衡工具进行Partition迁移的过程中，如果出现集群中Broker故障导致均衡工具的执行进度阻塞，这时需要人工介入来恢复，分为以下几种场景：
ode-主机名.log”，发现如下错误信息。 重要错误信息Clock skew too great 图3 DateNode运行日志错误 解决办法 修改在原生页面查看不到的10个数据节点的时间。 在Manager页面重启对应的DataNode实例。 父主题： 使用HDFS
LOAD参数描述 参数 描述 segment_id 将要删除的Segment的ID。 db_name Database名称，若未指定，则使用当前database。 table_name 在给定的database中的表名。 注意事项 流式表不支持删除segment。 示例 DELETE FROM TABLE
参数 描述 segment_id 将要删除的Segment的ID。 db_name Database名称，如果未指定，则使用当前database。 table_name 在给定的database中的表名。 注意事项 流式表不支持删除segment。 示例 DELETE FROM TABLE
WebUI界面，从PgSQL导入数据到Hudi。 前提条件 集群已安装CDL、Hudi服务且运行正常。 PgSQL数据库需要开启前置要求，操作步骤请参考PostgreSQL数据库修改预写日志的策略。 在FusionInsight Manager中创建一个人机用户，例如“cdluser”，加入用户组cd
ionInsight-Flume-1.9.0/flume/bin/flume-manage.sh: Permission denied 解决办法 与运行正常的Flume节点进行文件和文件夹权限对比，更改错误文件或文件夹权限。 父主题： 使用Flume
@Override public JavaRDD<HoodieRecord<T>> repartitionRecords(JavaRDD<HoodieRecord<T>> records, int outputSparkPartitions) { JavaPairRDD<String
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
