检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群元数据概述 MRS的数据连接用于管理集群中组件使用的外部源连接,如Hive的元数据可以通过数据连接关联使用外部的关系型数据库。 本地元数据:元数据存储于集群内的本地GaussDB中,当集群删除时元数据同时被删除,如需保存元数据,需提前前往数据库手动保存元数据。 外置数据连接:
修改MRS集群组件数据库用户密码(MRS 2.x及之前版本) 在MRS Manager单击“服务管理”,单击待修改数据库用户服务的名称。 确定修改哪个组件数据库用户密码。 修改DBService数据库用户密码,直接执行3。 修改Hive或者Hue或者Loader数据库用户密码,需要先单击“停止服务”,停止服务后再执行3。
catalogs命令,确认可以查询Presto的数据源列表。 执行show schemas from mysql命令即可查询MySQL数据库。 MRS 2.x版本。 创建“mysql.properties”配置文件,内容如下: connector.name=mysql connection
快速创建和使用ClickHouse列式数据库集群 操作场景 本入门提供从零开始创建ClickHouse集群并通过集群客户端进行ClickHouse表的创建与查询操作指导。 ClickHouse是一款开源的面向联机分析处理的列式数据库,独立于Hadoop大数据体系,具有压缩率和极速查询性能。 操作流程
添加HBase数据源 本章节指导用户在HSConsole界面添加HBase数据源。 添加HBase数据源前提条件 数据源所在集群域名与HetuEngine集群域名不能相同。 数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/et
单击右上角的,可查看所有快捷键信息。 元数据浏览器使用介绍 访问Hue WebUI。 查看Hive表的元数据 在左侧导航栏单击表,单击某一表名称,界面将显示Hive表的元数据信息。 管理Hive表的元数据 在Hive表的元数据信息界面: 单击右上角的“导入”可导入数据。 单击“概述”,在“属性”域可查看表文件的位置信息。
查询Doris表数据 本章节介绍查询Doris表数据样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQl语句查询集群中的dbName.tableName表数据。 String querySql = "select * from " + dbName
使用JDBC方式从Oracle数据库读取数据,适用于支持JDBC的数据库。 在这种方式下,Loader加载数据的性能受限于分区列的数据分布是否均匀。当分区列的数据偏斜(数据集中在一个或者几个值)时,个别Map需要处理绝大部分数据,进而导致索引失效,造成SQL查询性能急剧下降。 gene
重置MRS集群组件数据库用户密码 MRS集群中组件连接DBService数据库的用户默认密码为随机密码,建议管理员定期重置组件数据库用户的密码,以提升系统运维安全性。 该章节仅适用于MRS 3.1.2及之后版本。MRS 3.1.2之前版本请参考修改MRS集群组件数据库用户密码章节。 对系统的影响
查询ClickHouse数据 本章节介绍查询ClickHouse数据样例代码。 查询语句1:querySql1查询创建ClickHouse表创建的tableName表中任意10条数据;查询语句2:querySql2通过内置函数对创建ClickHouse表创建的tableName表中的日期字段取年月后进行聚合。
-----+--+ EXCEPT、INTERSECT EXCEPT返回两个结果集的差(即从左查询中返回右查询没有找到的所有非重复值)。 INTERSECT返回两个结果集的交集(即两个查询都返回的所有非重复值)。 例如,Hive中有两张表“test_table1”、“test_table2”。
+--+ EXCEPT、INTERSECT 语法简介 EXCEPT返回两个结果集的差(即从左查询中返回右查询没有找到的所有非重复值)。 INTERSECT返回两个结果集的交集(即两个查询都返回的所有非重复值)。 例如,Hive中有两张表“test_table1”、“test_table2”。
查询ClickHouse数据 本章节介绍查询ClickHouse数据样例代码。 查询语句1:querySql1查询创建ClickHouse表创建的tableName表中任意10条数据;查询语句2:querySql2通过内置函数对创建ClickHouse表创建的tableName表中的日期字段取年月后进行聚合。
使用JDBC方式从Oracle数据库读取数据,适用于支持JDBC的数据库。 在这种方式下,Loader加载数据的性能受限于分区列的数据分布是否均匀。当分区列的数据偏斜(数据集中在一个或者几个值)时,个别Map需要处理绝大部分数据,进而导致索引失效,造成SQL查询性能急剧下降。 gene
查询ClickHouse数据 本章节介绍查询ClickHouse数据样例代码。 查询语句1:querySql1查询创建ClickHouse表创建的tableName表中任意10条数据;查询语句2:querySql2通过内置函数对创建ClickHouse表创建的tableName表中的日期字段取年月后进行聚合。
查询ClickHouse数据 本章节介绍查询ClickHouse数据样例代码。 查询语句1:querySql1查询创建ClickHouse表创建的tableName表中任意10条数据;查询语句2:querySql2通过内置函数对创建ClickHouse表创建的tableName表中的日期字段取年月后进行聚合。
查询Doris表数据 本章节介绍查询Doris表数据样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQl语句查询集群中的dbName.tableName表数据。 String querySql = "select * from " + dbName
HBase是基于Key-Value的分布式存储数据库,基于rowkeys对表中的数据按照字典进行排序。如果您根据指定的rowkey查询数据,或者扫描指定rowkey范围内的数据,HBase可以快速查找到需要读取的数据,从而提高效率。在大多数实际情况下,会需要查询列值为XXX的数据。HBase提供了Fil
ReplacingMergeTree表引擎数据查询,需要先做数据去重合并提升性能。 如果使用去重引擎进行数据查询,且使用argMax函数和final关键字,会导致整个查询性能较差,需要提前对重复数据做合并去重optimize操作,查询时候直接查询不需要使用argMax函数和final关键字,提升查询性能。 父主题:
通过Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误 本章节仅适用于MRS 3.1.0版本集群。 用户问题 MRS 3.1.0集群Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误。 问题现象 原因分析 通过日志判断得知是格式异常。 处理步骤 确认分