检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理 for (ConsumerRecord<Integer, String> record : records) {
Spark2x多主实例 背景介绍 基于社区已有的JDBCServer基础上,采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务,通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作,也不影响用
e, database_name, table_name, [sharding_key]) Distributed表参数解析如下: cluster_name:集群名称,在对分布式表执行读写的过程中,使用集群的配置信息查找对应的ClickHouse实例节点。 database_name:数据库名称。
Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如,客户端文件压缩包为“FusionInsight_Cluster_1_Services_Client
Flink SQL语法增强 本章节适用于MRS 3.3.0及以后版本。 FlinkSQL DISTRIBUTEBY FlinkSQL新增DISTRIBUTEBY特性,根据指定的字段进行分区,支持单字段及多字段,解决数据仅需要分区的场景。示例如下: SELECT /*+ DISTRIBUTEBY('id')
ClickHouse长时间并发满,导致不可服务,如何快速恢复 问题描述 ClickHouse并发满,新的请求无法执行,影响服务的可用性,报错信息如下: DB::Exception: Too many simultaneous queries. Maximum: 100 处理步骤
AINA.HW”和“DOMAINB.HW”。 配置跨集群互信前,两个Manager系统的域名必须不同。MRS创建ECS/BMS集群时会随机生成唯一系统域名,通常无需修改。 配置跨集群互信前,两个集群中不能存在有相同的主机名,也不能存在相同的IP地址。 配置互信的两个集群系统时间必
在Linux中调测Hive JDBC应用 执行mvn package生成jar包,在工程目录target目录下获取,比如:hive-examples-1.0.jar。 在运行调测环境上创建一个目录作为运行目录,如“/opt/hive_examples”(Linux环境),并在该目录下创建子目录“conf”。
在样例代码的“springboot/kafka-examples”目录下找到pom文件,在此文件同级目录使用maven install工具编译SpringBoot样例,此时会生成一个target文件夹,在target文件夹中得到“huawei-spring-boot-kafka-examples-*.jar”。 在
执行缩容操作。 原因:确保缩容后剩余空间足够存放现有数据,并预留一部分空间。 说明: 为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。 HBase/RegionServer 规则:除缩容节点外,其他节点RegionServer剩余可用内存的
[db_name.]table_name; 参数描述 表1 DROP TABLE参数描述 参数 描述 db_name Database名称。如果未指定,将选择当前database。 table_name 需要删除的Table名称。 注意事项 在该命令中,IF EXISTS和db_name是可选配置。
在Linux中调测Presto应用开发 JDBC客户端运行及结果查看 执行mvn clean compile assembly:single生成jar包,在工程目录target目录下获取,比如:presto-examples-1.0-SNAPSHOT-jar-with-dependencies
Projects > JDBCExample > Lifecycle”中,执行“clean”和“package”操作,编译完成后,在target目录下即可生成“JDBCExample-1.0-SNAPSHOT.jar”。 在Linux环境执行以下命令创建调测运行目录。 mkdir -p /opt/hetuclient;
调测Presto应用 JDBC客户端运行及结果查看 执行mvn clean compile assembly:single生成jar包,在工程目录target目录下获取,比如:presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar。
配置矢量化读取ORC数据 配置场景 ORC文件格式是一种Hadoop生态圈中的列式存储格式,它最初产生自Apache Hive,用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似,它并不是一个单纯的列式存储格式,仍然是首先根据行组分割整个表,在每
配置矢量化读取ORC数据 配置场景 ORC文件格式是一种Hadoop生态圈中的列式存储格式,它最初产生自Apache Hive,用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似,它并不是一个单纯的列式存储格式,仍然是首先根据行组分割整个表,在每
打包后的jar文件。 在Maven工具窗口,选择“clean”生命周期,执行Maven构建过程。然后继续选择“package”进行打包,在生成的“target”目录中获取jar包。 [INFO] ------------------------------------------
创建Bucket索引表调优 Bucket索引常用设置参数: Spark: hoodie.index.type=BUCKET hoodie.bucket.index.num.buckets=5 Flink index.type=BUCKET hoodie.bucket.index.num
N节点。 hdfs diskbalancer -plan <Hostname| IP Address> 此条命令可以根据传入的DataNode生成一个Json文件,该文件包含了数据移动的源磁盘、目标磁盘、待移动的块等信息。同时,该命令还支持指定一些其他网络带宽参数等。 hdfs diskbalancer
不支持为表创建索引时自定义索引的其他属性,例如,压缩方式、BLOCKSIZE、列编码等。 索引写入约束 索引数据生成仅支持Put/Delete接口,使用其他方式(Increment、Append、Bulkload等)写入数据表时不会生成对应索引。 索引列数据定义为String类型时,要避免写入\x00和\x01两个特殊字符(特殊不可见字符)。