检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive开发指南 Hive应用开发概述 准备Hive应用开发环境 开发Hive应用 调测Hive应用 Hive应用开发常见问题
HDFS开发指南 HDFS应用开发概述 准备HDFS应用开发环境 开发HDFS应用 调测HDFS应用 HDFS应用开发常见问题
OpenTSDB开发指南 OpenTSDB应用开发概述 准备OpenTSDB应用开发环境 开发OpenTSDB应用 调测OpenTSDB应用 OpenTSDB应用开发常见问题
Impala开发指南 Impala应用开发概述 准备Impala应用开发环境 开发Impala应用 调测Impala应用 Impala应用开发常见问题
Hive开发指南(普通模式) Hive应用开发概述 准备Hive应用开发环境 开发Hive应用 调测Hive应用 Hive应用开发常见问题
Kudu开发指南(普通模式) Kudu应用开发概述 准备Kudu应用开发环境 开发Kudu应用 调测Kudu应用 Kudu应用开发常见问题
HBase开发指南(普通模式) HBase应用开发概述 准备HBase应用开发环境 开发HBase应用 调测HBase应用 HBase应用开发常见问题
HBase数据恢复任务报错回滚失败 问题 HBase恢复任务执行失败后系统自动回滚数据,若页面详情中提示“Rollback recovery failed”信息,表示回滚失败。由于回滚失败后就不会处理数据,所以有可能产生垃圾数据,需要如何解决? 回答 在下次执行备份或恢复任务前,需要手动清除这些垃圾数据。
报错。 原因分析 当使用load导入数据到Hive表的时候,属于需要跨文件系统的情况(例如原数据在HDFS上,而Hive表数据存放在OBS上),并且文件长度大于阈值(默认32 MB),则会触发使用distcp的MapReduce任务来执行数据迁移操作。这个MapReduce任务配
为什么在off heap时数据加载失败? 问题 为什么在off heap时数据加载失败? 回答 YARN Resource Manager将(Java堆内存 + “spark.yarn.am.memoryOverhead”)作为内存限制,因此在off heap时,内存可能会超出此限制。
HBase恢复数据任务报错回滚失败 问题 HBase恢复任务执行失败后系统自动回滚数据,如果页面详情中提示“Rollback recovery failed”信息,表示回滚失败。由于回滚失败后就不会处理数据,所以有可能产生垃圾数据,需要如何解决? 回答 在下次执行备份或恢复任务前,需要手动清除这些垃圾数据。
时,设置表文件分布的locator信息,当使用insert语句向该表中插入数据时会将该表的数据文件存放在相同的存储节点上(不支持其他数据导入方式),从而使后续的多表关联的数据计算更加方便和高效。支持HDFS的Colocation功能的Hive表格式只有TextFile和RCFile。
新增连接”,进入“新增连接”参数配置窗口,参考下表,分别新增“thirdparty-kafka”、“hudi”连接,相关数据连接参数介绍请参见创建CDL数据库连接。 表1 thirdparty-kafka数据连接配置参数 参数名称 示例 Name opengausslink Link Type thirdparty-kafka
配置ClickHouse对接OBS源文件 本章节主要介绍使用ClickHouse对接OBS进行文件读写。 使用S3表函数 登录主OMS节点。 执行以下命令获取OBS内的存储数据。 select * from S3(path, [ak, sk,] format, structure, [compression])
Broker Load导入数据时报超时错误 现象描述 使用Broker Load导入数据时报错: org.apache.thrift.transport.TTransportException: java.net.SocketException: Broken pipe 原因分析
使用Broker Load导入数据报错 现象描述 使用Broker Load导入数据时报错“failed to send batch”或“TabletWriter add batch with unknown id”。 原因分析 系统并发量较大或数据量大导致任务执行超时。 处理步骤
10亿级数据量场景的解决方案有哪些? 问: 10亿级数据量场景的解决方案有哪些? 答: 有数据更新、联机事务处理OLTP、复杂分析的场景,建议使用云数据库 GaussDB(for MySQL)。 MRS的Impala + Kudu也能满足该场景,Impala + Kudu可以在j
ClickHouse表数据倾斜 告警解释 ClickHouse各节点之间,分布式表对应的本地表中,若存在数据倾斜,系统产生此告警。当检测到数据均衡时,告警自动清除。 数据倾斜检测方法: 当参数“min_table_check_data_bytes”值为“0”时,不启用数据倾斜检查。 当参
HBase开发指南(安全模式) HBase应用开发概述 准备HBase应用开发环境 开发HBase应用 调测HBase应用 HBase应用开发常见问题
Hive开发指南(安全模式) Hive应用开发概述 准备Hive应用开发环境 开发Hive应用 调测Hive应用 Hive应用开发常见问题