华为云用户手册

  • 不支持的函数 DDM计算层暂不支持如下函数。如果无法确认函数是否能下推到RDS,请不要使用该函数。 不支持XML函数。 不支持ANY_VALUE()函数。 不支持ROW_COUNT()函数。 不支持COMPRESS()函数。 不支持SHA()函数。 不支持SHA1()函数。 不支持AES_ENCRYPT()函数。 不支持AES_DECRYPT()函数。 不支持JSON_OBJECTAGG()聚合函数。 不支持JSON_ARRAYAGG()聚合函数。 不支持STD()聚合函数。 不支持STDDEV()聚合函数。 不支持STDDEV_POP()聚合函数。 不支持STDDEV_SAMP()聚合函数。 不支持VAR_POP()聚合函数。 不支持VAR_SAMP()聚合函数。 不支持VARIANCE()聚合函数。 不支持MICROSECOND()函数。 不支持TO_DAYS()函数。 不支持TO_SECONDS()函数。 不支持UNCOMPRESS()函数。 不支持UNCOMPRESSED_LENGTH()函数。 不支持UNHEX()函数。 不支持YEARWEEK()函数。 不支持TIME_FORMAT()函数。
  • 产品规格 产品规格包括通用增强型和鲲鹏通用计算增强型两种。 通用增强型实例是新推出的一系列性能高、计算能力稳定的实例规格,搭载英特尔® 至强® 可扩展处理器,配套高性能网络,综合性能及稳定性全面提升,满足对业务稳定性及计算性能要求较高的企业级应用诉求。 鲲鹏通用计算增强型实例搭载鲲鹏920处理器及25GE智能高速网卡,提供强劲鲲鹏算力和高性能网络,更好满足政府、互联网等各类企业对云上业务高性价比、安全可靠等诉求。 表1 产品规格 规格类型 架构 规格码 CPU(核) 内存(GB) 通用增强型 X86 ddm.c6.2xlarge.2 8 16 ddm.c6.4xlarge.2 16 32 ddm.c6.8xlarge.2 32 64 鲲鹏通用计算增强型 ARM ddm.kc1.2xlarge.2 8 16 ddm.kc1.4xlarge.2 16 32 ddm.kc1.8xlarge.2 32 64
  • DDM与其他服务的关系 虚拟私有云(VPC) DDM运行于虚拟私有云,需要使用虚拟私有云创建的IP和带宽。通过虚拟私有 云安全 组的功能,可增强访问DDM服务的安全性。 弹性云服务器(E CS ) 成功购买DDM实例后,您需要通过弹性云服务器连接使用DDM实例。 云数据库服务(RDS) 购买DDM实例后,可以关联同一虚拟私有云中的RDS for MySQ L实例 ,实现 分布式数据库 计算与存储。 云监控服务 CES 云监控 服务(Cloud Eye)提供安全、可扩展的统一监控方案,通过云监控服务集中监控DDM的各种指标,基于云监控实现告警和事件通知。 云审计 服务( CTS ) 云审计服务(Cloud Trace Service),提供DDM服务资源的操作记录,记录内容包括您从 云计算平台 发起的云服务资源操作请求以及每次请求的结果,供您查询、审计和回溯使用。 弹性负载均衡(ELB) 弹性负载均衡(ELB)将访问流量根据分配策略分发到后端多台服务器,通过流量分发扩展DDM对外的服务能力,同时通过消除单点故障提升DDM服务的可用性。 数据管理服务(DAS) 数据管理服务,通过专业优质的可视化操作界面,提高数据管理工作的效率和安全。
  • 什么是区域、可用区? 我们用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区
  • DN实例使用限制 在使用DDM过程中,对于DN实例存在一些使用限制。 仅支持5.7及8.0系列版本的RDS for MySQL实例,不支持Serverless类型和容器类型。 不支持 GaussDB (for MySQL)实例和云耀数据库实例。 DDM暂不支持MySQL实例配置SSL连接。 禁止MySQL实例开启区分大小写。 如果您使用的MySQL版本为5.7,请您在MySQL实例创建完成后在“参数修改”页面将实例的“lower_case_table_names”参数的值设为1,也可以在创建实例时“表名大小写”这一项选择“不区分大小写”。 如果您使用的MySQL版本为8.0,请您在创建实例时“表名大小写”这一项选择“不区分大小写”。 对已经被DDM关联的DN实例进行修改配置等操作时,可能导致使用异常。修改后需要在DDM的DN管理页面,单击“同步DN信息”,将修改的配置进行同步,保证功能可用性。 禁止DN实例使用gbk字符集。 父主题: 使用限制
  • 产品定义 分布式数据库中间件(Distributed Database Middleware,简称DDM),是一款分布式关系型数据库中间件。兼容MySQL协议,专注于解决数据库分布式扩展问题,突破传统数据库的容量和性能瓶颈,实现海量数据高并发访问。 DDM是由华为云自主研发的云原生分布式数据库中间件,采用存算分离架构,提供分库分表、读写分离、弹性扩容等能力,具有稳定可靠、高度可扩展、持续可运维的特点。服务器集群管理对用户完全透明,用户通过DDM管理控制台进行数据库运维与数据读写,提供类似传统单机数据库的使用体验。
  • 产品优势 自动分库分表 传统数据库通常是单机部署,一旦出现问题,数据可能全部丢失,故障影响面100%。 而DDM支持自动分库分表,将数据分散到多个数据节点存储,分散风险,影响面降低至1/N,支撑业务爆发式增长。 读写分离 DDM充分利用数据节点只读实例能力,当水平拆分后,依然存在较大查询压力,则可以开启读写分离能力,业务系统无需改造,提升数据库处理能力和访问效率,轻松应对高并发场景。 弹性扩容 传统数据库计算能力和存储能力有限,CPU/内存/网络处理能力受限于机器配置,存储受限于SSD或者云盘的大小,只能支撑中小规模的业务系统。 而DDM既支持计算层(DDM)扩容(增加节点数或提升节点规格),也支持存储层在线扩容,存储层扩容可以通过增加分片数或者数据节点数来解决单表数据量过多和容量瓶颈等问题,确保计算、存储均可线性扩展,解决业务在快速发展的过程中针对数据库扩展性产生的后顾之忧与运维压力。
  • 应用场景 尤其适用于大规模的数据存储与高并发访问的行业应用,如互联网应用、物联网数据、高性价比数据库解决方案等应用场景。 互联网应用 电商、金融、O2O、零售、社交应用等行业,普遍存在用户基数大、营销活动频繁、核心交易系统数据库响应日益变慢的问题,制约业务发展。DDM提供线性水平扩展能力,能够实时提升数据库处理能力,提高访问效率,轻松应对高并发的实时交易场景。 物联网数据 在工业监控和远程控制、智慧城市的延展、智能家居、车联网等物联网场景下,传感监控设备多,采样频率高,数据规模大,会产生超过单机数据库存储能力极限的数据,造成数据库容量瓶颈。DDM提供的容量水平扩展能力,可以有效的帮助用户低成本的存储海量数据。 高性价比数据库解决方案 政务机构、大型企业、银行等行业为了支持大规模数据存储和高并发数据库访问,传统方案需要强依赖小型机和高端存储等高成本的商业解决方案。DDM利用普通服务器进行集群部署,提供与传统商业解决方案相同甚至更高的处理能力。
  • 数字内容生产线的计费价格调整公告 随着数字人业务的发展,数字人市场已发生变化。华为云数字内容生产线为更好的提供服务,将从2024年9月27日起,对中国大陆分身数字人形象制作、声音制作进阶版、视频制作的按需计费及按需预付费套餐包,进行统一调价。调整后的价格如表1所示。 表1 中国大陆价格调整详情 产品分类 计费方式 调价前 调价后 分身数字人形象制作 一次性预付费时长包 8000元/个 5999元/个 声音制作进阶版 一次性预付费时长包 10000元/个 6999元/个 分身数字人视频制作 按需计费 16元/分钟 10元/分钟 按需预付费套餐包(分身数字人视频制作60分钟套餐包) 768元/个 480元/个 按需预付费套餐包(分身数字人视频制作600分钟套餐包) 5760元/个 3600元/个 按需预付费套餐包(分身数字人视频制作6000分钟套餐包) 38400元/个 24000元/个 本次价格调整时间为2024年9月27日 00:00-12:00,生效日期为2024年9月27日。 产品价格调整完成后,新购买的客户可直接使用新价格下单。已有下单用户,需联系客户经理或提交工单给我们处理。 请您及时关注新的计费价格及余额变动,并及时做出业务调整。若您有任何疑问,可直接联系客户经理或提交工单给我们。衷心感谢各位用户对本产品的信赖与支持!
  • 服务到期 “按需计费”任务没有到期的概念。 “包年/包月”任务到期后,如果没有及时的进行续费或充值,将进入宽限期。如宽限期满仍未续费或充值,将进入保留期。在保留期内,无法在DRS管理控制台进行该任务的操作,相关接口也无法调用,自动化监控或告警等运维也会停止。如果在保留期结束时您没有续费,实例将终止服务,系统中的数据也将被永久删除。 若您购买的任务已到期,请参见费用中心用户指南中资源停止服务或逾期释放说明章节进行处理。
  • 欠费 当余额不足时,如果没有及时的进行续费或充值,就会导致任务欠费限制使用,待续费或充值后,可继续正常使用。任务欠费后,将进入宽限期。如宽限期满仍未续费或充值,将进入保留期。在保留期内资源将停止服务。保留期满仍未续费或充值,存储在云服务中的任务将被删除、云服务资源将被释放。详细策略请参见费用中心用户指南中资源停止服务或逾期释放说明章节。 若您的DRS任务已欠费,请参见费用中心用户指南中欠费还款章节进行处理。
  • 计费标准 表1 包年/包月计费标准 计费项 说明 配置费(必选) 指计算和存储资源及数据处理的费用,包年/包月的配置费用是一次性计费。 弹性公网IP费用(可选) 指公网访问产生的数据处理和数据流量费用。如果创建公网网络任务,您需要购买弹性公网IP。 目前实时迁移仅支持“按需计费”,暂不支持“包年/包月”。 实时同步和实时灾备支持“按需计费”和“包年/包月”的选择。 华为云DRS费用详情,请参见产品价格详情。您可以通过DRS提供的价格计算器,选择您需要的配置规格,来快速计算出参考价格。
  • 计费标准 表1 按需计费标准 计费项 计费说明 配置费(必选) 指计算和存储资源及数据处理的费用,按照实际使用时长计费,以自然小时为单位整点计费,不足一小时按照实际使用时长计费。 弹性公网IP费用(可选) 指公网访问产生的数据处理和数据流量费用。如果创建公网网络任务,您需要购买弹性公网IP。 华为云DRS配置费用详情,请参见产品价格详情。您可以通过DRS提供的价格计算器,选择您需要的配置规格,来快速计算出参考价格。
  • 支持的同步对象范围 在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表3。DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查。 表3 支持的同步对象 类型名称 使用须知 同步对象范围 仅支持同步表结构、表数据、索引信息。 仅支持同步MyISAM和InnoDB表。 虚拟列会被同步为普通列,且不写入任何数据,也不做增量同步。 不支持同步存储过程等其他数据库对象。 不支持同步MySQL含虚拟列的表。 全量和增量同步不支持隐藏列(INVISIBLE),隐藏列是MySQL 8.0.23开始支持的特性,例如: CREATE TABLE `test11` ( `id` int NOT NULL, `c1` int DEFAULT NULL /*!80023 INVISIBLE */, PRIMARY KEY (`id`));
  • 支持的同步对象范围 在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表3。DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查。 表3 支持的同步对象 类型名称 使用须知 同步对象范围 仅支持同步表结构、表数据、索引信息。 仅支持同步有主键表。 仅支持同步MyISAM和InnoDB表。 虚拟列会被同步为普通列,且不写入任何数据,也不做增量同步。 不支持同步存储过程等其他数据库对象。 不支持同步既是无主键表,又是分区表的自建表,可能会导致任务失败。 全量和增量同步不支持隐藏列(INVISIBLE),隐藏列是MySQL 8.0.23开始支持的特性,例如: CREATE TABLE `test11` ( `id` int NOT NULL, `c1` int DEFAULT NULL /*!80023 INVISIBLE */, PRIMARY KEY (`id`));
  • 支持的同步对象范围 在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表3。DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查。 表3 支持的同步对象 类型名称 使用须知 同步对象范围 仅支持同步表结构、表数据、索引信息。 仅支持同步MyISAM和InnoDB表。 虚拟列会被同步为普通列,且不写入任何数据,也不做增量同步。 不支持同步存储过程等其他数据库对象。 不支持同步MySQL含虚拟列的表。 全量和增量同步不支持隐藏列(INVISIBLE),隐藏列是MySQL 8.0.23开始支持的特性,例如: CREATE TABLE `test11` ( `id` int NOT NULL, `c1` int DEFAULT NULL /*!80023 INVISIBLE */, PRIMARY KEY (`id`));
  • 支持的同步对象范围 在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表3。DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查。 表3 支持的同步对象 类型名称 使用须知 同步对象范围 仅支持同步表结构、表数据、索引信息。 仅支持同步有主键表。 仅支持同步MyISAM和InnoDB表。 虚拟列会被同步为普通列,且不写入任何数据,也不做增量同步。 不支持同步存储过程等其他数据库对象。 不支持同步既是无主键表,又是分区表的自建表,可能会导致任务失败。 全量和增量同步不支持隐藏列(INVISIBLE),隐藏列是MySQL 8.0.23开始支持的特性,例如: CREATE TABLE `test11` ( `id` int NOT NULL, `c1` int DEFAULT NULL /*!80023 INVISIBLE */, PRIMARY KEY (`id`));
  • 任务参数说明 表1 任务参数说明 参数名 描述 取值范围 默认值 参数类型 是否需要重启 applier_thread_num 全量阶段写数据到目标数据库的线程数 与规格大小有关。 极小规格:1-4 小规格:1-4 中规格:1-8 大规格:1-18 超大规格:1-24 与规格大小有关。 极小规格:2 小规格:2 中规格:4 大规格:6 超大规格:12 int 是 read_task_num 全量阶段从源数据库读取数据的线程数 与规格大小有关。 极小规格:1-2 小规格:1-2 中规格:1-4 大规格:1-8 超大规格:1-12 与规格大小有关。 极小规格:1 小规格:1 中规格:2 大规格:4 超大规格:6 int 是 shard_task_num 全量阶段从源数据库分片线程数 与规格大小有关。 极小规格:1-2 小规格:1-2 中规格:1-4 大规格:1-8 超大规格:1-8 与规格大小有关。 极小规格:1 小规格:1 中规格:2 大规格:4 超大规格:4 int 是 increment_writer_num 增量阶段写目标库线程数 与规格大小有关。 极小规格:1-8 小规格:1-16 中规格:1-32 大规格:1-128 超大规格:1-128 与规格大小有关。 极小规格:4 小规格:8 中规格:16 大规格:64 超大规格:64 int 是 relay_socket_timeout 增量阶段从源数据库拉取日志的超时时间 30000-2147483647毫秒 30000毫秒 int 是 datamove_source_socket_timeout 全量阶段从源数据库拉取数据的超时时间 120000-2147483647毫秒 120000毫秒 int 是
  • 扩大带宽是否会对DRS正在进行中的任务产生影响 扩大云连接带宽时需要重建带宽链路,则会导致网络断开,此时是否会对DRS任务产生影响取决于网络断开的时间以及源库IP有没有发生变化。例如针对MySQL引擎而言,如果网络断开1天,而在这1天时间内源库binlog被清理了(MySQL都有binlog清理策略,用户侧自己配置的),就无法进行任务续传,需要重置任务。如果网络中断的时间很短,并且带宽链路更换完成后源库的VPN内的IP地址没有变,则是可以继续续传任务,不会对DRS任务产生影响。 父主题: 通用操作
  • Microsoft SQL Server为源同步场景 表1 同步对象名称校验 预检查项 同步对象名称校验 描述 源数据库存在不符合要求的数据库名、schema名或或表名,该字符会导致迁移失败。 待确认提示及处理建议 不通过原因:源数据库存在不符合要求的数据库名、schema名或表名,源数据库中库名、schema名及表名只能包含字母、下划线、中划线和数字。 处理建议:请修改不符合要求的对象名称,确保对象符合命名要求。
  • MySQL灾备场景 表1 主备库是否开启隐式主键检查 预检查项 主备库是否开启隐式主键检查。 描述 检查源库或目标库是否开启create_default_primary_key参数。 待确认提示及处理建议 待确认原因:源库或目标库的create_default_primary_key参数开启了,可能会导致灾备主备倒换的时候任务失败或者数据不一致,建议关闭。另外,如果在开启这个参数的状态下,源库创建无主键表,即使现在关闭了也可能会导致主备转换后任务失败。 处理建议:一些旧版本 数据实例 中,可能会开启这个参数(目前这个参数已经被弃用),这个参数开启就可能会导致导致主备转换的时候出现问题,可能导致任务失败或者数据不一致,建议关闭或者保证源库内不存在无主键表。
  • Oracle同步场景 表1 存在约束不验证添加前数据 预检查项 存在约束不验证添加前数据。 描述 当前源数据库的表存在特殊constraint类型,该constraint添加时仅对新数据进行约束检查,并不检查存量数据是否满足约束条件,所以源表可能存在部分数据不满足约束,部分数据满足约束的情况,目标数据库不支持这类constraint,要求所有数据均满足constraint的约束检查,故数据传输时可能出现写入目标库的数据不满足约束检查而失败或丢失的风险。 待确认提示及处理建议 待确认原因:存在不符合检查项约束。 处理建议:请确认对应表中所有数据完全满足当前约束条件,如发现不满足约束的数据,请考虑目标端不做约束(需要找DRS在线支持跳过表结构一致性检查),或者处理源端数据使得完全满足约束。
  • Microsoft SQL Server为源同步场景 表1 源数据库是否存在被禁用的聚集索引 预检查项 源数据库是否存在被禁用的聚集索引。 描述 源数据库中不允许存在被禁用的聚集索引,若存在会导致迁移失败。 待确认提示及处理建议 待确认原因:不通过原因:源数据库中存在被禁用的聚集索引。 处理建议: 通过执行如下操作,启用表中已禁用的索引: ALTER INDEX [索引名称] ON [表名] REBUILD
  • MariaDB同步场景 表2 检查目标库的max_allowed_packet参数 预检查项 检查目标库的max_allowed_packet参数。 描述 目标库的max_allowed_packet参数值小于100MB,导致目标库无法写入造成全量迁移失败。 不通过提示及处理建议 告警信息:目标库的max_allowed_packet参数值过小导致目标库数据无法写入造成全量迁移失败。 处理建议:修改目标库max_allowed_packet参数值,使其大于100MB。
  • MySQL迁移场景 表1 检查目标库的max_allowed_packet参数 预检查项 检查目标库的max_allowed_packet参数。 描述 目标库的max_allowed_packet参数值小于100MB,导致目标库无法写入造成全量迁移失败。 不通过提示及处理建议 告警信息:目标库的max_allowed_packet参数值过小导致目标库数据无法写入造成全量迁移失败。 处理建议:修改目标库max_allowed_packet参数值,使其大于100MB。
  • Microsoft SQL Server为源同步场景 表1 源数据库和目标数据库计算机名是否不同 预检查项 源数据库和目标数据库计算机名是否不同。 描述 源数据库和目标数据库存在相同的计算机名,不符合迁移要求。 不通过提示及处理建议 不通过原因:源数据库连接失败,导致该项检查无法进行。 处理建议:查看源数据库连接是否成功。 不通过原因:目标数据库连接失败,导致该项检查无法进行。 处理建议:查看目标数据库连接是否成功。 不通过原因:源数据库和目标数据库具有相同的计算机名。 处理建议:建议修改源数据库的计算机名,然后重启计算机生效。
  • Microsoft SQL Server为源同步场景 表1 源库CDC数据保留时间是否足够 预检查项 源库CDC数据保留时间是否足够 描述 检查源库CDC数据保留时间是否足够长。 不通过提示及处理建议 不通过原因:源库CDC数据保留时间太短,不足1天,会导致增量同步异常。 处理建议:请修改CDC数据保留时间,至少修改为1440分钟(1天)或以上,建议4320分钟(3天)。 修改方式请参考: EXECUTE sys.sp_cdc_change_job @job_type = N'cleanup', @retention = 4320;
  • MySQL迁移和同步场景 表1 目标库sql_mode中no_engine值检查 预检查项 目标库sql_mode中no_engine值检查。 描述 迁移的对象中包含引擎为myisam的表,目标数据库sql_mode不能包含no_engine_substitution参数,否则可能会导致迁移失败。 不通过提示及处理建议 不通过原因:目标数据库含有no_engine_substitution参数。 处理建议:建议去除目标数据库sql_mode中no_engine_substitution参数,具体方法请参见《云数据库 RDS用户指南》中“编辑参数”章节。
  • MySQL迁移场景 表1 源库和目标库参数log_bin_trust_function_creators一致性校验 预检查项 源库和目标库参数log_bin_trust_function_creators一致性校验。 描述 在进行MySQL到MySQL的出云迁移时,源库和目标库参数log_bin_trust_function_creators需保持一致。当源数据库支持自定义函数时,而目标数据库不支持自定义函数,此时源数据库自定义函数的参数log_bin_trust_function_creators=on,目标数据库自定义函数的参数log_bin_trust_function_creators=off,需修改目标库的log_bin_trust_function_creators=on。若二者不一致,可能会导致迁移失败。 待确认提示及处理建议 待确认原因:目标数据库不支持自定义函数。 处理建议:请检查目标库my.cnf文件中是否存在参数log_bin_trust_function_creators=on,若不存在则在my.cnf中加上该参数, 并重启目标数据库使之生效。
  • MySQL迁移场景 表1 目标库参数log_bin_trust_function_creators校验 预检查项 目标库参数log_bin_trust_function_creators校验。 描述 RDS for MySQL到MySQL出云场景下,所选的迁移对象包含自定义函数,但目标数据库不支持创建自定义函数,可能会导致迁移失败。 不通过提示及处理建议 不通过原因:目标数据库不支持自定义函数。 处理建议:请检查目标数据库my.cnf文件中是否存在参数log_bin_trust_function_creators=on,若不存在则在my.cnf中加上该参数, 并重启目标数据库使之生效。
共100000条