检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
@Override public JavaRDD<HoodieRecord<T>> repartitionRecords(JavaRDD<HoodieRecord<T>> records, int outputSparkPartitions) { JavaPairRDD<String
@Override public JavaRDD<HoodieRecord<T>> repartitionRecords(JavaRDD<HoodieRecord<T>> records, int outputSparkPartitions) { JavaPairRDD<String
在以下场景中,INSERT INTO CARBON TABLE命令会失败: 当源表和目标表的列数据类型不同时,源表中的数据将被视为Bad Records,则INSERT INTO命令会失败。 源列上的aggregartion函数的结果超过目标列的最大范围,则INSERT INTO命令会失败。
Kafka Consumer消费数据丢失 问题背景与现象 用户将消费完的数据存入数据库,发现数据与生产数据不一致,怀疑Kafka消费丢数据。 可能原因 业务代码原因 Kafka生产数据写入异常 Kafka消费数据异常 解决办法 Kafka排查: 通过consumer-groups
ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理 for (ConsumerRecord<Integer, String> record : records) {
EXPLAIN SELECT (of table) CREATE TABLE CREATE (of database) CREATE TABLE As SELECT CREATE (on database), INSERT (on table), RW on data file, and SELECT
EXPLAIN SELECT (of table) CREATE TABLE CREATE (of database) CREATE TABLE As SELECT CREATE (on database), INSERT (on table), RW on data file, and SELECT
汇总在一个时间窗口内每个女性上网时间 JavaPairDStream<String, Integer> aggregateRecords = JavaPairDStream.fromJavaDStream(femaleRecords) .reduceByKeyAndWindow(new
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
LOAD参数描述 参数 描述 segment_id 将要删除的Segment的ID。 db_name Database名称,若未指定,则使用当前database。 table_name 在给定的database中的表名。 注意事项 流式表不支持删除segment。 示例 DELETE FROM TABLE
参数 描述 segment_id 将要删除的Segment的ID。 db_name Database名称,如果未指定,则使用当前database。 table_name 在给定的database中的表名。 注意事项 流式表不支持删除segment。 示例 DELETE FROM TABLE
@Override public JavaRDD<HoodieRecord<T>> repartitionRecords(JavaRDD<HoodieRecord<T>> records, int outputSparkPartitions) { JavaPairRDD<String
@Override public JavaRDD<HoodieRecord<T>> repartitionRecords(JavaRDD<HoodieRecord<T>> records, int outputSparkPartitions) { JavaPairRDD<String
根据权限适用范围的不同,将库表的权限分为以下四个层级: CATALOG LEVEL:数据目录(Catalog)级权限。被授予的权限适用于指定Catalog中的任意库表。 DATABASE LEVEL:数据库级权限。被授予的权限适用于指定数据库中的任意表。 TABLE LEVEL:表级权限。被授予的权限适用于指定数据库中的指定表。
elineServer HA来确保Yarn TimelineServer角色的高可用性。 TimelineServer会将数据保存到内存数据库LevelDB中,占用大量内存,安装TimelineServer的节点内存至少需要预留30GB。 该功能适用于MRS 3.2.0-LTS.1及之后版本。
管理MRS集群元数据 MRS集群元数据概述 配置Ranger元数据存储至RDS 配置Hive元数据存储至RDS 配置LakeFormation数据连接 管理MRS集群数据连接 父主题: 管理MRS集群
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
表1 DELETE SEGMENT by DATE参数描述 参数 描述 db_name Database名称,若未指定,则使用当前database。 table_name 给定database中的表名。 date_value 有效Segment加载启动时间。在这个指定日期前的Segment将被删除。
表1 DELETE SEGMENT by DATE参数描述 参数 描述 db_name Database名称,如果未指定,则使用当前database。 table_name 给定database中的表名。 date_value 有效Segment加载启动时间。在这个指定日期前的Segment将被删除。