检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何解决JDBC驱动方式连接DDM异常问题 MySQL驱动( JDBC)通过Loadbalance方式连接DDM,在某些场景下连接切换时会陷入死循环,最终导致栈溢出。 问题定位 查看APP日志,定位异常原因。 例如,从以下日志中分析出异常最终原因为栈溢出。 Caused by: java
下载并安装JDBC驱动包 操作场景 JDBC用于连接DLI服务,您可以在Maven获取JDBC安装包,或在DLI管理控制台下载JDBC驱动文件。 本文介绍通过JDBC连接DLI并提交SQL作业。
驱动包名为“dws_8.1.x_jdbc_driver.zip”,解压后有两个JDBC的驱动jar包,分别为“gsjdbc4.jar”和“gsjdbc200.jar”。
JDBC包与驱动类 JDBC包 从管理控制台下载包名为dws_8.1.x_jdbc_driver.zip。 请参见下载JDBC或ODBC驱动。
exceeded)。 Join函数 select场景,建议join条件是每个表的拆分字段或使用广播表,或者是驱动表是一个小表(inner/left join驱动表是左表,right join驱动表是右表)。 不建议两个大表直接进行join操作。 不建议join on condition中含有非等值操作。
上传MySQL数据库连接驱动 操作场景 Loader作为批量数据导出的组件,可以通过关系型数据库导入、导出数据。在连接关系型数据库前,需提前手动上传驱动。 操作步骤 修改关系型数据库对应的驱动jar包文件权限。
如果遇到同一JVM进程内需要同时访问PostgreSQL及GaussDB的场景,请使用此驱动包。 各驱动包只是驱动类加载路径和url前缀不同,接口功能上相同。 jdbc发布件jar包按照架构分类,除gscejdbc.jar外,不必与jar包的部署环境一致。
解压后JDBC的驱动jar包: gaussdbjdbc.jar:主类名为“com.huawei.gaussdb.jdbc.Driver”,数据库连接的url前缀为“jdbc:gaussdb”,推荐使用此驱动包。本章的Java代码示例默认使用gaussdbjdbc.jar包。
解压后JDBC的驱动jar包: gsjdbc4.jar:该驱动包适用于从PostgreSQL迁移业务的场景,驱动类和加载路径与迁移前保持一致,但接口支持情况不完全一致,未支持的接口需要业务侧进行调整。
如果遇到同一JVM进程内需要同时访问PostgreSQL及GaussDB的场景,请使用此驱动包。 各驱动包只是驱动类加载路径和url前缀不同,接口功能上相同。 jdbc发布件jar包按照架构分类,除gscejdbc.jar外,不必与jar包的部署环境一致。
DDM使用类 DDM如何进行分片 如何解决JDBC驱动方式连接DDM异常问题 使用mysqldump从MySQL导出数据非常缓慢的原因 导入数据到DDM过程中出现主键重复 如何处理数据迁移过程中自增列报错:主键重复 如何处理配置参数未超时却报错 如何处理DDM逻辑库与RDS实例的先后关系
JDBC包与驱动类 JDBC包 从管理控制台下载包名为dws_8.x.x_jdbc_driver.zip的软件包。 请参见下载JDBC或ODBC驱动。
RDS for MySQL准备 此操作默认新的RDS for MySQL实例已创建成功。如需创建实例,请参考购买RDS for MySQL实例。 父主题: 通过DDM对RDS for MySQL实例进行分库分表
源端RDS for MySQL准备 创建源端VPC和安全组 创建RDS for MySQL实例 创建源端VPN 父主题: 通过数据复制服务(DRS)将RDS for MySQL数据迁移到DDM
3.0.9 新功能 支持对Sequence自增进度查询能力。 支持单条大小超过16M的记录查询。 支持MariaDB Connector/J驱动。 优化读写分离中的事务拆分功能,事务中连接未发生事务更新时可根据读写分离权重决定路由到主实例或只读实例。 3.0.8 新增功能 新增支持ROW表达式的路由计算。
创建RDS for MySQL实例 本章节介绍创建RDS for MySQL实例并构造测试数据。 创建实例 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。 单击“购买数据库实例”。 配置实例名称和实例基本信息。
创建RDS for MySQL实例 本章节介绍创建DDM下关联的RDS for MySQL实例,创建步骤如下。 创建步骤 登录华为云控制台。 单击管理控制台左上角的,选择区域“华北-北京四”。 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。 单击“购买数据库实例”。
MySQL连接DDM时出现乱码如何解决 MySQL连接的编码和实际的编码不一致,可能导致DDM解析时出现乱码。 通过“default-character-set=utf8”指定客户端连接的编码即可。 如下所示: mysql -h 127.0.0.1 -P 5066 -D database
作系统,该镜像来自于云市场,由第三方提供。 图9 基础配置 图10 选择镜像 配置网络信息后,单击“下一步:高级配置”。 由于需要在ECS下载MySQL客户端,因此需要为ECS绑定弹性公网IP(EIP),并且选择与DDM实例相同的VPC,便于DDM和ECS网络互通。 图11 网络配置
使用mysqldump从MySQL导出数据非常缓慢的原因 mysqldump客户端的版本和DDM所支持的MySQL版本不一致,可能会导致从MySQL导出数据非常缓慢。 建议版本保持一致。 父主题: DDM使用类
建议进行join操作时,join条件优先使用分片键等值连接。 用结果集小的表作为驱动表,尽量减少join的循环次数(使用left join/join时,左边是驱动表,右边是被驱动表;使用right join时,右边是驱动表,左边是被驱动表)。 对于被驱动表的join字段需添加索引,不建议两张大表直接进行jo
创建源端VPN 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“网络 > 虚拟专用网络 VPN”。 在左侧导航栏选择“虚拟专用网络 > 企业版-VPN网关”。 在“VPN网关”界面,单击“创建VPN网关”,更多参数的说明请参见创建VPN网关。
场景二:其他云MySQL迁移到DDM 场景介绍 企业当前使用其他云MySQL实例,希望能使用华为云DDM将数据进行分布式存储。 迁移过程中可能会出现业务中断情况,中断时长与迁移数据量大小、网络情况相关。 迁移示意 图1 其他云MySQL迁移到DDM示意图 约束限制 目标DDM实例、RDS
地控制和优化成本。成本中心支持使用“成本分析”的汇总和过滤机制可视化企业的原始成本和摊销成本,从而通过各种角度、范围分析成本和用量的趋势及驱动因素。 企业还可以通过成本中心的“成本监控”,及时发现计划外费用,做到成本的可监控、可分析和可追溯。 详细介绍请参见通过成本分析探索成本和使用量、通过成本监控识别异常成本。
创建源端VPC和安全组 创建源端VPC和安全组,为创建RDS for MySQL实例准备好网络资源和安全组。 创建VPC 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“网络 > 虚拟私有云 VPC”。 进入虚拟私有云信息页面。
创建逻辑库并关联RDS for MySQL实例 操作步骤 登录华为云控制台。 单击管理控制台左上角的,选择区域“华北-北京四”。 单击左侧的服务列表图标,选择“数据库 > 分布式数据库中间件 DDM”,进入DDM管理控制台。 在实例管理页面,单击实例对应操作栏的“创建逻辑库”。
数据库时间与北京时间相差13或14小时该如何解决 问题现象 数据库时区设置为北京时间时,通过JDBC连接DDM,查询到的时间与北京时间相差13或14小时。 原因分析 JDBC驱动连接DDM时会向DDM查询数据库时区设置,DDM返回时区为CST(中国标准时间)。 CST有4种含义: 美国中部时间 Central Standard
创建逻辑库并关联RDS for MySQL实例 登录华为云控制台。 单击管理控制台左上角的,选择区域“华北-北京四”。 单击左侧的服务列表图标,选择“数据库 > 分布式数据库中间件 DDM”,进入DDM管理控制台。 在实例管理页面,单击实例对应操作栏的“创建逻辑库”。 在创建逻辑
RDS for MySQL哪些高危操作会影响DDM RDS for MySQL相关高危操作如表1所示。 表1 RDS for MySQL高危操作 操作类别 操作 操作影响 RDS for MySQL控制台操作类 删除RDS for MySQL实例 RDS for MySQL实例删除后,DDM关联该RDS