检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HBase本地二级索引提升查询效率 HBase本地二级索引介绍 批量加载HBase数据并生成本地二级索引 使用TableIndexer工具生成HBase本地二级索引 父主题: HBase企业级能力增强
'password') MySQL数据库引擎参数说明: host:port :RDS服务MySQL数据库实例IP地址和端口。 database :RDS服务MySQL数据库名。 user :RDS服务MySQL数据库用户名。 password:RDS服务MySQL数据库用户密码,命令
Sqoop如何连接MySQL 用户问题 Sqoop如何连接MySQL数据库。 处理步骤 在集群上安装客户端,查看客户端“sqoop/lib”目录下是否有MySQL驱动包。 在客户端目录下加载环境变量。 source bigdata_env 执行Kerberos用户认证。 如果集群
源类型“JDBC > MySQL”。 配置“MySQL配置”,参数配置请参考表1。 表1 MySQL配置 参数 描述 取值样例 驱动 默认为“mysql”。 mysql 驱动名称 选择2中已提前上传的待使用的MySQL驱动,格式为xxx.jar。 mysql-connector-java-8
Filter_Condition(NonIndexCol1) 针对多个列创建的联合索引场景下: 当查询时使用的列(多个),是联合索引所有对应列的一部分或者全部,且列的顺序与联合索引一致时,此索引会被利用来提升查询性能。 例如,针对C1、C2、C3列创建了联合索引,生效的场景包括: Filter_Condition(IndexCol1)
--host ClickHouse的实例IP --user 登录名 --password --port ClickHouse的端口号 --database 数据库名 --multiline 输入用户密码 参考Kafka引擎表使用语法说明,在ClickHouse中创建Kafka引擎表。例
HBase全局二级索引样例程序 HBase全局二级索引样例程序开发思路 创建HBase全局二级索引 查询HBase全局二级索引信息 基于全局二级索引查询HBase表数据 禁用HBase全局二级索引 删除HBase全局二级索引 父主题: 开发HBase应用
的CarbonData文件。由于数据排序只在每次加载时进行,所以,索引也只在每次加载时执行。这意味着,对于每次加载都会产生一个索引,随着数据加载数量的增加,索引的数量也随之增加。由于每个索引只在一次加载时工作,索引的性能被降低。CarbonData提供加载压缩。压缩过程通过合并排
每个月份一个文件夹。 ORDER BY:排序字段,支持多字段的索引排序,第一个相同的时候按照第二个排序依次类推。 index_granularity = 8192:排序索引的颗粒度,每8192条数据记录一个排序索引值。 如果被查询的数据存在于分区或排序字段中,能极大降低数据查找时间。
LOG.info("Exiting testDelete."); } 如果被删除的cell所在的列族上设置了二级索引,也会同步删除索引数据。 父主题: HBase数据读写示例程序
Phoenix BulkLoad Tool使用限制说明 问题 当更新索引字段数据时,若用户表已经存在一批数据,则BulkLoad工具不能更新全局和局部可变索引。 回答 问题分析 创建表。 CREATE TABLE TEST_TABLE( DATE varchar not null
数据库名。若未指定,则选择当前数据库。 indextable_name 索引表名。 maintable_name 主表名。 注意事项 在执行此命令之前,使用REFRESH TABLE将主表和二级所索引表都注册到Hive元数据中。 示例 create database productdb; use productdb;
使用MySQL客户端连接Doris Doris支持MySQL协议,所以大部分支持MySQL协议的客户端都可以访问Doris,包括命令行或者IDE,例如MariaDB、DBeaver、Navicat for MySQL等。 本操作以安装MySQL 8.0.22客户端连接Doris为例进行演示。
和集成的效率。 CDM服务迁移MySQL数据至MRS集群方案如图2所示。 图2 MySQL数据迁移示意 前提条件 已经购买包含有Hive服务的MRS集群。 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 已参考管理驱动,上传了MySQL数据库驱动。
已准备源集群,例如,MySQL服务端集群。 Doris集群与MySQL服务端集群网络互通。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 通过JDBC Catalog查询MySQL/Doris数据 进入MySQL官网(https://www.mysql.com/),选择“DOWNLOADS
Maxwell生成的数据格式及常见字段含义 配置MySQL 开启binlog,在MySQL中打开my.cnf文件,在[mysqld] 区块检查是否配置server_id,log-bin与binlog_format,如果没有配置请执行如下命令添加配置项并重启MySQL,如果已经配置则忽略此步骤。 $
LOG.info("Exiting testDelete."); } 如果被删除的cell所在的列族上设置了二级索引,也会同步删除索引数据。 父主题: HBase数据读写样例程序
LOG.info("Exiting testDelete."); } 如果被删除的cell所在的列族上设置了二级索引,也会同步删除索引数据。 父主题: HBase数据读写样例程序
Hudi具有主键唯一性机制,但在分区表的场景下通常只能保证分区内主键唯一,因此如果分区键的值发生变更后,会导致相同主键的行记录出现多条的情况。在以日期分区的场景,可采用数据的创建时间为分区字段,切记不要采用数据更新时间做分区。 当指定Hudi的索引类型为Global索引类型时,Hud
的CarbonData文件。由于数据排序只在每次加载时进行,所以,索引也只在每次加载时执行。这意味着,对于每次加载都会产生一个索引,随着数据加载数量的增加,索引的数量也随之增加。由于每个索引只在一次加载时工作,索引的性能被降低。CarbonData提供加载压缩。压缩过程通过合并排