-
创建ClickHouse数据库 - MapReduce服务 MRS
创建ClickHouse数据库 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。 private void createDatabase(String databaseName, String clusterName) throws
-
创建ClickHouse数据库 - MapReduce服务 MRS
创建ClickHouse数据库 以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的createDatabase方法中。通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。 private void
-
通过Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误 - MapReduce服务 MRS
语句中添加--columns绑定对应字段。 sqoop export --connect jdbc:mysql://数据库IP地址:端口号/数据库名 --username 数据库用户名 --password 密码 --table 表名 --columns 列字段(多个列用英文逗号分开)
-
上传数据库驱动文件 - MapReduce服务 MRS
已获取待连接数据库对应的驱动Jar包。 仅数据源MySQL、Oracle(MRS 3.3.0及之后版本支持)需要上传相应的驱动,驱动对应的版本号如表1所示,且驱动需要在MySQL或Oracle官网下载。 表1 MySQL、Oracle数据源支持的驱动 数据源 支持的驱动包 MySQL mysql-connector-java-8
-
使用Loader从关系型数据库导入数据到ClickHouse - MapReduce服务 MRS
用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev
-
Hive对接外置自建关系型数据库 - MapReduce服务 MRS
Hive对接外置自建关系型数据库 本章节适用于MRS 3.x及后续版本。 自建关系型数据库:本章节以对接开源MySQL和Postgres数据库进行说明。 在已有Hive数据的集群上外置元数据库后,之前的元数据表不会自动同步。因此在安装Hive之初就要确认好元数据是外置数据库还是内置到DBS
-
使用CDM服务迁移Hive数据至MRS集群 - MapReduce服务 MRS
使用CDM服务迁移Hive数据至MRS集群 场景介绍 本章节适用于将线下IDC机房或者公有云Hive集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 Hive数据迁移分两部分内容: Hive的元数据信息,存储在MySQL等数据库中。MRS Hive集群的元数据会默认存储到MRS
-
创建Ranger集群 - MapReduce服务 MRS
icy等数据默认存放在当前集群本地数据库中。 当“使用外部数据源存储元数据”开启时,选择数据连接类型为“RDS服务MySQL数据库”,数据连接实例选择已创建的数据连接实例,或单击“创建数据连接”新创建一个数据连接。 图2 使用RDS服务MySQL数据库 当用户选择的数据连接为“R
-
创建CDL数据库连接 - MapReduce服务 MRS
Port MySQL数据库端口。 3306 User MySQL数据库访问用户。 user Password MySQL数据库访问密码。 user用户密码 Description 描述信息。 xxx 表2 PgSQL数据连接配置参数 参数名称 描述 示例 Link Type 连接类型。
-
使用MySQL客户端连接Doris - MapReduce服务 MRS
使用MySQL客户端连接Doris Doris支持MySQL协议,所以大部分支持MySQL协议的客户端都可以访问Doris,包括命令行或者IDE,例如MariaDB、DBeaver、Navicat for MySQL等。 本操作以安装MySQL 8.0.22客户端为例进行演示。 前提条件
-
配置Ranger数据连接 - MapReduce服务 MRS
配置Ranger数据连接 本指导旨在指导用户将现有集群的Ranger元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集群的删除而删除。也能够避免集群迁移时Ranger元数据的迁移。 前置条件 已创建RDS服务MySQL数据库的实例,请参考创建RDS数据连接。
-
ClickHouse数据库设计 - MapReduce服务 MRS
ClickHouse数据库设计 ClickHouse DataBase设计 ClickHouse表引擎适用场景说明 ClickHouse宽表设计 ClickHouse物化视图设计 ClickHouse逻辑视图设计 父主题: ClickHouse设计开发规范
-
导入导出Hive数据库 - MapReduce服务 MRS
访问权限策略章节授予用户对应数据库的Repl Dump/Load操作权限。 删除设置了复制策略源的数据库时,需要先将该数据库的复制策略源设置为空,再对数据库执行删除操作,否则无法删除。将数据库复制策略源设置为空的命令如下: alter database dump_db set dbproperties
-
基于binlog的MySQL数据同步到MRS集群中 - MapReduce服务 MRS
my.cnf [mysqld] server_id=1 log-bin=master binlog_format=row Maxwell需要连接MySQL,并创建一个名称为maxwell的数据库存储元数据,且需要能访问需要同步的数据库,所以建议新创建一个MySQL用户专门用来给M
-
CREATE DATABASE创建数据库 - MapReduce服务 MRS
CREATE DATABASE创建数据库 本章节主要介绍ClickHouse创建数据库的SQL基本语法和使用说明。 基本语法 CREATE DATABASE [IF NOT EXISTS] database_name [ON CLUSTER ClickHouse集群名] ON CLUSTER
-
修改OMS数据库数据访问用户密码 - MapReduce服务 MRS
修改OMS数据库数据访问用户密码 操作场景 该任务指导用户定期修改OMS数据库访问用户的密码,以提升系统运维安全性。 对系统的影响 修改密码需要重启OMS服务,服务在重启时无法访问。 操作步骤 在MRS Manager单击“系统设置”。 在“权限配置”区域下,单击“OMS数据库密码修改”。
-
ClickHouse数据库应用开发 - MapReduce服务 MRS
#ClickHouse安全模式开关,安全模式集群时该参数固定为true。 CLICKHOUSE_SECURITY_ENABLED=true #连接的用户名 user= #连接的用户的密码 password= #集群名称 clusterName= #数据库名称 databaseName=
-
ClickHouse数据库开发 - MapReduce服务 MRS
ClickHouse数据库开发 ClickHouse数据入库 ClickHouse数据查询 ClickHouse数据库应用开发 父主题: ClickHouse设计开发规范
-
配置Hive表、列或数据库的用户权限 - MapReduce服务 MRS
在权限管理中,为了方便用户使用,授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 如果为角色添加或删除数据库的查询权限,数据库中的表也将自动添加或删除查询权限。
-
使用Loader从Hive导出数据到关系型数据库 - MapReduce服务 MRS
用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev