-
创建HBase表二级索引 - MapReduce服务 MRS
创建HBase表二级索引 功能简介 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理,该类中提供了创建索引的方法。 二级索引不支持修改,如果需要修改,请先删除旧的然后重新创建。 代码样例
-
使用CDM服务迁移Hive数据至MRS集群 - MapReduce服务 MRS
使用CDM服务迁移Hive数据至MRS集群 场景介绍 本章节适用于将线下IDC机房或者公有云Hive集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 Hive数据迁移分两部分内容: Hive的元数据信息,存储在MySQL等数据库中。MRS Hive集群的元数据会默认存储到MRS
-
创建HBase表二级索引 - MapReduce服务 MRS
创建HBase表二级索引 功能简介 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理,该类中提供了创建索引的方法。 二级索引不支持修改,如果需要修改,请先删除旧的然后重新创建。 代码样例
-
使用Loader从关系型数据库导入数据到ClickHouse - MapReduce服务 MRS
通用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令
-
典型场景:从关系型数据库导入数据到ClickHouse - MapReduce服务 MRS
通用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令
-
基于二级索引查询HBase表数据 - MapReduce服务 MRS
Filter_Condition(NonIndexCol1) 针对多个列创建的联合索引场景下: 当查询时使用的列(多个),是联合索引所有对应列的一部分或者全部,且列的顺序与联合索引一致时,此索引会被利用来提升查询性能。 例如,针对C1、C2、C3列创建了联合索引,生效的场景包括: Filter_Condition(IndexCol1)
-
StarRocks基本原理 - MapReduce服务 MRS
的行号。 索引 StarRocks通过前缀索引 (Prefix Index) 和列级索引,能够快速找到目标行所在数据块的起始行号。 加速处理 StarRocks通过预先聚合、分区分桶、物化视图、列级索引等机制实现数据的加速处理。 数据模型 StarRocks支持四种数据模型,分别是明细模型(Duplicate
-
Sqoop客户端使用实践 - MapReduce服务 MRS
--connect 指定JDBC连接的URL,格式为:jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存在安全风险,
-
MySQL链路任务启动时如何从指定位置抓取数据 - MapReduce服务 MRS
MySQL链路任务启动时如何从指定位置抓取数据 现象描述 MySQL链路任务启动时,可以从指定位置抓取数据,本章节主要介绍如何获取指定位置参数。 图1 启动任务 处理步骤 使用工具或者命令行连接MySQL数据库(本示例使用Navicat工具连接)。 执行以下命令。 SHOW MASTER
-
Presto如何配置其他数据源? - MapReduce服务 MRS
catalogs命令,确认可以查询Presto的数据源列表mysql。 执行show schemas from mysql命令即可查询mysql数据库。 MRS 2.x版本。 创建mysql.properties配置文件,内容如下: connector.name=mysql connection-ur
-
创建Bucket索引表调优 - MapReduce服务 MRS
方法二:大粒度分区(推荐),如果使用分区表则需要根据数据增长情况来计算,例如使用年分区,这种方式相对麻烦些但是多年后表无需重新导入。 方法三:数据老化,按照业务逻辑分析大的维度表是否可以通过数据老化清理无效的维度数据从而降低数据规模。 数据量非常小的事实表 这种可以在预估很长一段时间的数据增长量的前提下使用非分
-
配置RDS数据连接操作 - MapReduce服务 MRS
当前MRS支持的RDS上Postgres数据库版本号为PostgreSQL14。 当前MRS仅支持RDS上MySQL数据库版本为MySQL 5.7.x/MySQL 8.0。 数据库 待连接的数据库的名称。 用户名 登录待连接的数据库的用户名。 密码 登录待连接的数据库的密码。 图1 新建RDS类型数据库连接 当
-
查询HBase全局二级索引信息 - MapReduce服务 MRS
查询HBase全局二级索引信息 功能简介 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理,该类中listIndices用于查询索引信息,可以获取当前用户表所有相关索引的定义及索引状态。
-
删除HBase全局二级索引 - MapReduce服务 MRS
删除HBase全局二级索引 功能简介 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理,该类中dropIndices用于创删除索引。 代码样例 以下代码片段在com.huawei
-
查询HBase全局二级索引信息 - MapReduce服务 MRS
查询HBase全局二级索引信息 功能简介 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理,该类中listIndices用于查询索引信息,可以获取当前用户表所有相关索引的定义及索引状态。
-
删除HBase全局二级索引 - MapReduce服务 MRS
删除HBase全局二级索引 功能简介 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理,该类中dropIndices用于创删除索引。 代码样例 以下代码片段在com.huawei
-
配置Ranger数据连接 - MapReduce服务 MRS
服务MySQL数据库”时,数据库用户不允许为root用户,请参考数据连接前置操作新建用户并为该用户进行赋权。 Ranger元数据外置到Mysql前置操作 该前置操作仅在MRS 3.1.0及之后版本需要执行。 登录FusionInsight Manager页面,具体请参见访问FusionInsight
-
使用Hcatalog方式同步Hive和MySQL之间的数据,timestamp和data类型字段会报错 - MapReduce服务 MRS
使用Hcatalog方式同步Hive和MySQL之间的数据,timestamp和data类型字段会报错 问题 使用Hcatalog方式同步Hive和MySQL之间的数据,timestamp和data类型字段会报错: 回答 调整Sqoop源码包中的代码,将timestamp强制转换类型和Hive保持一致。
-
ALM-50207 FE的MySQL端口连接数与允许最大连接数的比值超过阈值 - MapReduce服务 MRS
ALM-50207 FE的MySQL端口连接数与允许最大连接数的比值超过阈值 告警解释 系统每30秒周期性检查MySQL端口连接数,当检测到当前连接数与设置的FE最大端口连接数的比值超出阈值(默认值为95%)时产生该告警。当前集群设置的FE最大端口连接数由参数“qe_max_co
-
Sqoop对接外部存储系统 - MapReduce服务 MRS
--connect 指定JDBC连接的URL,格式为:jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存在安全风险,