检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具体数据库类型进行优化,相对通用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器
rt batch时,会对不同的分区创建一个目录。如果一个batch里面的数据对应了过多的分区,那么一次insert就会生成较多的分区目录,后台merge线程处理速度跟不上分区增加的速度,社区规格是每秒不超过一个数据目录。 具体的操作:确认一个batch的数据对应了多少个分区,in
而删除,多个MRS集群可共享同一份元数据。 MRS集群支持的外置数据连接类型为: 安装了Hive组件的集群支持连接“RDS服务PostgreSQL数据库”,且Postgres数据库版本号为PostgreSQL14。 安装了Hive或Ranger组件的集群支持连接“RDS服务MyS
具体数据库类型进行优化,相对通用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器
产生告警的主机名。 对系统的影响 OMS数据库主备不同步会导致主数据库上的数据无法正常同步至备数据库,在告警上报时间段若主实例异常可能会导致用户业务数据丢失或者Manager页面数据显示异常。 可能原因 主备节点网络不稳定。 备OMS数据库异常。 备节点磁盘空间满。 处理步骤 检查主备节点网络是否正常。
Schema演进介绍 Schema演进(Schema Evolution)允许用户能够方便地修改Hudi表的当前Schema,以适应不断变化的数据。 本章节内容仅适用于MRS 3.2.0及之后版本。 Schema演进支持范围 Schema演进支持范围: 支持列(包括嵌套列)相关的增、删、改、位置调整等操作。
Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常 问题 使用MRS的Sqoop客户端(1.4.7版本),从MySQL数据库中指定表抽取数据,存放到HBase(2.2.3版本)指定的表中,报出异常: Trying to load data
ClickHouse数据库开发 ClickHouse数据入库工具 ClickHouse数据入库规范 ClickHouse数据查询 ClickHouse数据库应用开发 父主题: ClickHouse应用开发规范
MRS是否支持同时运行多个Flume任务? Flume客户端可以包含多个独立的数据流,即在一个配置文件properties.properties中配置多个Source、Channel、Sink。 这些组件可以链接以形成多个数据流。 例如在一个配置中配置两个数据流,示例如下: server
ClickHouse开启mysql_port配置 本章节指导用户使用MySQL客户端连接ClickHouse。 操作步骤 登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse >配置 > 全部配置”。搜索参数项“clickhouse-co
具体数据库类型进行优化,相对通用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器
tor、mysql-fastpath-connector),专用数据库连接器特别针对具体数据库类型进行优化,相对通用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和
使用MySQL客户端连接Doris Doris支持MySQL协议,所以大部分支持MySQL协议的客户端都可以访问Doris,包括命令行或者IDE,例如MariaDB、DBeaver、Navicat for MySQL等。 本操作以安装MySQL 8.0.22客户端连接Doris为例进行演示。
VIRTUAL SCHEMA CREATE/DROP/SHOW VIRTUAL SCHEMA(S) CREATE HetuEngine中的CREATE语句用来创建SCHEMA映射,通过映射信息对外开放本域数据源。 语法如下: CREATE VIRTUAL SCHEMA [ IF NOT
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据,然后直接写到OBS,指定parquet格式时写入报错,不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3,用Hcatalog方式写入。
执行show schemas from mysql命令即可查询MySQL数据库。 MRS 2.x版本。 创建“mysql.properties”配置文件,内容如下: connector.name=mysql connection-url=jdbc:mysql://MySQL IP地址:3306
击“创建数据连接”新创建一个数据连接。 图2 使用RDS服务MySQL数据库 当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,需要先以root用户登录到数据库执行如下SQL命令为该数据库用户进行赋权,其中${db
在权限管理中,为了方便用户使用,授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 如果为角色添加或删除数据库的查询权限,数据库中的表也将自动添加或删除查询权限。
ClickHouse数据库调优 ClickHouse调优思路 ClickHouse系统调优 ClickHouse SQL调优 ClickHouse参数调优实践 父主题: ClickHouse应用开发规范
Connector Connector将Presto适配到如Hive或关系型数据库的数据源。 Catalog Catalog包含schema以及引用通过connector连接的数据源 Schema Schema是组织数据表的一种形式。 父主题: Presto应用开发概述