检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。
DDM表数据重载 功能介绍 DDM实例跨region容灾场景下,针对目标DDM实例实现表数据reload,使数据同步。 接口约束 无。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
平台对接数据格式有哪些要求? 上传数据格式 转换后数据格式 消息topic格式规范 消息topic格式示例 父主题: 数据服务常见问题
数据迁移 迁移介绍 迁移评估 场景一:数据中心自建MySQL迁移到DDM 场景二:其他云MySQL迁移到DDM 场景三:华为云上自建MySQL迁移到DDM 场景四:从DDM实例导出数据 场景五:其他异构数据库迁移到DDM 场景六:从华为云RDS for MySQL迁移到DDM
什么是分布式数据库中间件 产品定义 分布式数据库中间件(Distributed Database Middleware,简称DDM),是一款分布式关系型数据库中间件。兼容MySQL协议,专注于解决数据库分布式扩展问题,突破传统数据库的容量和性能瓶颈,实现海量数据高并发访问。 DD
表数据重载 DDM跨region容灾场景下,通过数据复制服务(DRS)进行存储层数据迁移,迁移完成之后,目标DDM无法感知逻辑表信息所在位置,所以需要在目标DDM主动下发“表数据重载”,重新加载信息,跟分片建立联系。 操作步骤 登录分布式数据库中间件控制台。 在“实例管理”页面,选择目标实例。
新/删除涉及的数据条数。建议先用select查出相应的数据,double check确保数据范围无误后再实行update/delete操作。 拆分字段更新 条数限制:DDM拆分字段更新有数据量限制,一般不能超过10000条数据,数据量越少越好。若超过10000条数据,建议用改重建
备注 DB_ADDRESS 待导出数据的数据库连接地址。 必填 DB_PORT 数据库侦听端口 必填 DB_USER 数据库用户 必填 --skip-lock-tables 在不锁表的情况下导出数据。 某些参数会默认开启加锁声明,因此建议在数据导出语句末尾增加此参数。 --add-locks=false
图解分布式数据库中间件DDM
算能力稳定的实例规格,搭载英特尔® 至强® 可扩展处理器,配套高性能网络,综合性能及稳定性全面提升,满足对业务稳定性及计算性能要求较高的企业级应用诉求。 鲲鹏通用计算增强型实例搭载鲲鹏920处理器及25GE智能高速网卡,提供强劲鲲鹏算力和高性能网络,更好满足政府、互联网等各类企业对云上业务高性价比、安全可靠等诉求。
服务介绍 分布式数据库中间件 DDM 分布式数据库中间件DDM介绍 02:47 分布式数据库中间件DDM介绍 操作指导 分布式数据库中间件 DDM 购买DDM实例 02:40 购买DDM实例 分布式数据库中间件 DDM 创建逻辑库并关联数据节点 03:00 创建逻辑库并关联数据节点 分布式数据库中间件
VPC 虚拟专用网络VPN 云数据库 RDS 分布式数据库中间件DDM 数据复制服务 DRS 数据管理服务 DAS 部署架构 本示例中,源端为华为云RDS for MySQL,目标端为不同region下的分布式数据库中间件DDM,通过VPN网络,将源库的数据迁移到目标库。部署架构可参考图1。
为了保持数据完整性,需要先停止Mycat业务后再进行数据迁移。 该场景不支持通过DDM关联Mycat关联的RDS进行数据关联,需要将Mycat数据导出后再导入到DDM完成数据迁移。 目标DDM关联的RDS版本与Mycat关联数据库的版本需要保持一致。 从Mycat导出数据表结构 登录ECS。 执行如下
购买实例并通过DAS连接DDM逻辑库 数据管理服务(Data Admin Service,简称DAS)是用来登录和操作华为云上数据库的Web服务,提供数据库开发、运维、智能诊断的一站式云上数据库管理平台,方便用户使用和运维数据库。 本章节主要介绍购买DDM实例、购买RDS for
迁移介绍 数据迁移指将原有数据库中的数据迁移到DDM服务中,或因为业务使用需要,将DDM服务的数据导出到其他数据库系统中使用。您可以使用MySQL官方工具mysqldump进行数据全量导出,当您需要全量迁移+增量迁移时,建议您使用数据复制服务(Data Replication Service,简称DRS)服务。
FREE:跨分片事务commit时部分失败无法回滚,导致数据不一致。 XA分布式事务:两阶段提交,跨分片事务commit时部分失败会自动回滚,保证事务内数据一致性。 数据导入导出 支持外部数据导入,帮助用户实现数据库平滑上云。支持DDM实例数据按业务需求导出。 具体操作请参见数据迁移。 SQL语法 兼容MySQL
DRS迁移任务 迁移任务名 DRS-MySQLToDDM 自定义,易理解可识别。 源数据库引擎 MySQL 本示例中源数据库为MySQL,使用的华为云RDS实例。 目标数据库引擎 DDM 本示例中目标数据库为DDM。 网络类型 VPN网络 本示例中采用“VPN网络”。 表2 成本规划
DDM表数据重载 表1 DDM逻辑表管理 权限 对应API接口 授权项 IAM项目(Project) 企业项目 (Enterprise Rroject) DDM表数据重载 POST /v1/{project_id}/instances/{instance_id}/reload-config
DDM逻辑表支持全局表、拆分表、单表三种类型。用户可以按照数据表的实际使用需求,选择最合适的逻辑表类型创建,实际操作请参考创建表。 单表只在第一个分片创建表以及存储数据。 全局表在每一个分片创建表并且存储全量数据。 拆分表在每一个分片创建表,数据按照拆分规则分散存储在分片中。 逻辑表的分片规则
通过数据复制服务(DRS)将RDS for MySQL数据迁移到DDM 方案概述 资源和成本规划 操作流程 源端RDS for MySQL准备 目标端DDM准备 创建VPN连接 创建DRS迁移任务 确认迁移执行结果
配额 操作场景 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 查看配额 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”,进入“服务配额”页面。
请求Body参数 参数 是否必选 参数类型 描述 read_weight 是 Map<String, Integer> 主数据库实例与只读数据库实例的读权重集合。 key:数据库实例ID。 value:读权重数。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 success