云服务器内容精选

  • 录制回放 录制回放是指将源数据库发生的真实业务流量,在目标数据库模拟执行,从而观察和检验目标数据库的功能和性能表现。录制回放支持的数据库和版本如表28所示,更多录制回放的功能特性可参考录制回放。 其中,自建数据库(例如MySQL、MariaDB等)包含本地自建数据库和E CS 自建数据库,RDS for MySQL指华为云云数据库RDS上的MySQL数据库。 仅支持目标库版本等于或高于源库版本。 表28 数据库信息 源数据库引擎 源数据库类型和版本 目标数据库类型和版本 MySQL RDS for MySQL 所有版本 RDS for MySQL 所有版本 GaussDB (for MySQL) 兼容MySQL 8.0版本 自建MySQL 5.6、5.7、8.0版本 其他云上MySQL 5.6、5.7、8.0版本 RDS for MySQL 所有版本 GaussDB(for MySQL) 兼容MySQL 8.0版本 GaussDB(for MySQL) GaussDB(for MySQL) 兼容MySQL 8.0版本 GaussDB(for MySQL) 兼容MySQL 8.0版本
  • 备份迁移 备份迁移通过将源数据库的数据导出成备份文件,并上传至 对象存储服务 ,然后恢复到目标数据库。备份迁移可以帮助您在云服务不触碰源数据库的情况下,实现数据迁移。其支持的数据库、版本和迁移类型如表8所示,更多备份迁移的功能特性可参考备份迁移。 仅支持目标库大版本等于或高于源库大版本。 表8 数据库信息 备份文件版本 目标数据库版本 迁移方式 备份文件来源 本地及其他云Microsoft SQL Server数据库备份文件版本: Microsoft SQL Server 2000 企业版、标准版 Microsoft SQL Server 2005 企业版、标准版 Microsoft SQL Server 2008 企业版、标准版、Web版 Microsoft SQL Server 2012 企业版、标准版、Web版 Microsoft SQL Server 2014 企业版、标准版、Web版 Microsoft SQL Server 2016 企业版、标准版、Web版 Microsoft SQL Server 2017 企业版、标准版、Web版 Microsoft SQL Server 2019 企业版、标准版、Web版 RDS for SQL Server Microsoft SQL Server 2008 企业版、标准版、Web版(存量版本) Microsoft SQL Server 2012 企业版、标准版、Web版 Microsoft SQL Server 2014 企业版、标准版、Web版 Microsoft SQL Server 2016 企业版、标准版、Web版 Microsoft SQL Server 2017 企业版、标准版、Web版 Microsoft SQL Server 2019 企业版、标准版、Web版 全量迁移 增量迁移 OBS自建桶 RDS全量备份 RDS for SQL Server全量备份文件版本: Microsoft SQL Server 2008 企业版、标准版、Web版 Microsoft SQL Server 2012 企业版、标准版、Web版 Microsoft SQL Server 2014 企业版、标准版、Web版 Microsoft SQL Server 2016 企业版、标准版、Web版 Microsoft SQL Server 2017 企业版、标准版、Web版 Microsoft SQL Server 2019 企业版、标准版、Web版 全量迁移 增量迁移 OBS自建桶 RDS全量备份
  • 解决方案 方法一:使用主账号重新创建一次任务,主账号默认有Security Administrator权限,可在创建任务后将委托创建出来。 方法二:使用主账号在子账号所在的用户组添加Security Administrator权限后,重新创建任务。添加权限的具体操作请参见:创建用户并授权使用DRS。 方法三:手动添加“账户委托”,添加步骤如下: 使用主账号登录华为云,在右上角单击“控制台”。 在控制台页面,鼠标移动至右上方的账号名,在下拉列表中选择“ 统一身份认证 ”。 在统一身份认证页面,单击左侧导航窗格中“委托”,进入“委托”页面。 在“委托”页面,单击右上方的“+创建委托”进行委托创建。 填写委托名称为“DRS_AGENTCY” ,委托类型为 “普通账号”时, 委托的账号为 “op_svc_rds”;委托类型为“云服务”时,选择“关系型数据库MySQL”;持续时间为“永久”,完成后单击“下一步”。 图1 创建委托 在“选择策略”页面,选择DRS_AGENTCY的授权策略,委托权限需配置全局的 Tenant Administrator,完成后单击右下角的“下一步”。 图2 选择策略 在“设置最小授权范围”页面,先选择全局服务资源授权后,再基于指定区域设置最小授权范围,完成后单击右下角的“确定”。 图3 全局服务资源授权 图4 指定区域项目授权 授权完成后,单击委托名称,在“授权记录”中可看到全局服务和指定区域两条授权记录。 图5 授权记录 权限生效时间提醒,您选中的OBS权限由于系统设计的原因,授权后需等待15-30分钟才可生效,权限生效后重新创建即可。
  • 测试模型 在两个RDS for MySQ L实例 间创建全量+增量的实时同步任务,实例配置如表3。 表3 实例规格 参数 源RDS for MySQL实例 目标RDS for MySQL实例 规格名称 c6.4xlarge.4(通用增强Ⅱ型) c6.4xlarge.4(通用增强Ⅱ型) 性能规格 超高IO 超高IO 存储类型 16vCPUs|64 GB 16vCPUs|64 GB 存储空间 300G 300G 最大连接数 18000 18000 最大QPS 3352 3352 最大IOPS 114152 114152 测试模型: 测试表数量为20。 测试表均有主键。 记录大小为1KB。 每个事务平均包含两条DML操作,一条COMMIT,其中INSERT、UPDATE、DELETE的比例为1:1:1。
  • 规格说明 表1 全量同步性能上限 链路名称 全量性能上限(MB/s)参考 MySQL为源链路 50 Oracle为源链路 40 Redis为源链路 30 GaussDB为源链路 40 PostgreSQL为源链路 30 DDM为源链路 20 MongoDB为源链路 20 影响DRS迁移速度的因素很多,当前全量阶段迁移速度为网络和数据库性能无瓶颈、任务为大规格时的测试数据,仅供用户进行参考。 当目标数据库为Oralce或者GaussDB(DWS)时,受限于目标数据库写入机制,全量速度相较于其他类型数据库下降30%~50%。 MongoDB数据库的写入性能会受索引个数影响,单个索引影响5-8%,索引越多,速度越慢。 实时同步根据同步链路的增量性能上限,定义了六种规格:极小、小、中、大、超大、极大,各个规格的同步性能上限如表2。 表2 规格性能上限 规格名称 增量性能上限(行/秒)参考 极小 300 小 3000 中 7500 大 10000 超大 20000 极大 大于20000 规格的线上运行性能受网络环境、源数据库和目标数据库的性能、延迟等因素影响,实际的性能值会有差异,表中性能上限值仅供参考。 DRS规格:DRS为用户提供的不同性能的链路规格,以全量同步(不限速)和增量同步性能为衡量标准。 性能上限(行/秒):表示每秒同步的事务数,包括BEGIN、COMMIT 、DML语句(INSERT、DELETE、UPDATE)及DDL语句。用户可通过 云监控 CES查看写目标库频率(apply_rows_rate)监控指标获取。 目前,DRS同步仅支持任务类型为单AZ的同步任务升级实例规格,不支持父子任务升级实例规格,不支持降低规格,具体操作及约束限制可参考同步规格变更。 对于支持内容对比的链路,如果创建任务时可以选择实例规格,那么仅支持大规格及以上规格进行内容对比。
  • 灾备任务约束与限制 为保障数据灾备任务的正常运行,针对不同的链路,DRS在使用上存在一定的约束与限制。 MySQL到MySQL单主灾备 MySQL到GaussDB(for MySQL)单主灾备 DDM到DDM单主灾备 GaussDB(for MySQL)到GaussDB(for MySQL)单主灾备 MySQL到MySQL双主灾备 GaussDB(for MySQL)到GaussDB(for MySQL)双主灾备 父主题: 约束与限制
  • MySQL为源使用须知 入云: MySQL同步到MySQL MySQL同步到GaussDB(for MySQL) MySQL同步到PostgreSQL MySQL同步到GaussDB主备版 MySQL同步到GaussDB分布式版 出云: MySQL同步到MySQL MySQL同步到Kafka MySQL同步到 CSS /ES MySQL同步到Oracle 自建-自建: MySQL同步到Kafka MySQL同步到CSS/ES MySQL同步到GaussDB主备版
  • GaussDB分布式版为源使用须知 出云: GaussDB分布式版同步到MySQL GaussDB分布式版同步到Oracle GaussDB分布式版同步到Kafka GaussDB分布式版同步到GaussDB分布式版 GaussDB分布式版同步到GaussDB主备版 自建-自建: GaussDB分布式版同步到Oracle GaussDB分布式版同步到Kafka GaussDB分布式版同步到GaussDB分布式版
  • 监控安全风险 云监控服务 为用户提供一个针对云数据库、云服务器等资源的立体化监控平台。使您全面了解云上的资源使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 DRS提供基于云监控服务的资源和操作监控能力,例如CPU使用率、网络吞吐量的等。通过设置 数据复制服务 告警规则,用户可自定义监控目标与通知策略,及时了解数据复制服务运行状况,从而起到预警作用。支持的监控指标以及如何创建告警规则,具体请参见监控指标。 云监控支持的性能指标监控时间窗包括:近1小时、近3小时、近12小时、近24小时、近7天和近6个月。 父主题: 安全
  • 审计 云审计 服务(Cloud Trace Service, CTS ),是华为 云安全 解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 通过云审计服务,您可以记录数据复制服务的相关操作事件,方便您日后的查询、审计和回溯。具体内容请参见支持审计的关键操作列表。
  • 访问控制 权限控制 您可以使用 IAM 为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,通过IAM进行精细的权限管理。DRS权限详情可以参考权限管理。 网络隔离 DRS在创建实例时,可以根据业务需要选择实例所在VPC的子网,DRS在创建完实例后会为用户分配此子网的IP地址,用于连接源数据库和目标数据库。DRS实例与华为云上的源数据库或目标数据库同处一个VPC,通过源数据库、目标数据库或DRS自身的安全组,实现网络访问控制,达到网络隔离的效果。 具体内容请参见创建虚拟私有云和子网。
  • 责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。 华为云租户的安全责任在于对使用的 IaaS、PaaS 和 SaaS 类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、 虚拟主机 和访客虚拟机的操作系统,虚拟防火墙、API 网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
  • 网络准备 数据复制服务支持通过多种方式的网络进行录制回放,包括:VPC网络、VPN网络、专线网络和公网网络,在正式进行录制回放任务创建之前,请参考表3了解网络类型的使用场景及准备工作,并参考表4了解具体的网络类型支持情况进行网络设置。 表3 网络类型 网络类型 使用场景 准备工作 VPC网络 适合云上同区域数据库之间的录制回放。 源数据库所在的区域要和目标数据库实例所在的区域保持一致。 源数据库可以和目标数据库在同一VPC内,也可以在不同VPC内。 当源数据库和目标数据库处于同一个VPC内的时候,默认网络是连通的,不需要单独设置安全组。 当源数据库和目标数据库不在同一个VPC内的时候,要求源数据库和目标数据库所处的子网处于不同网段,不能重复或交叉,此时需要通过对等连接实现网络互通。 目前DRS暂不支持跨租户通过VPC网络实现源库、目标库的网络互通。如果有需要,用户可通过手动创建对等连接后,选择“VPN网络”实现网络互通。 具体建立VPC对等连接的方法,可参考《虚拟私有云用户指南》。 VPN网络 适合通过VPN网络,实现其他云下自建数据库与云上数据库录制回放、或云上跨区域的数据库之间的录制回放。 用户需要确保本地数据中心和目标数据库所在VPC的VPN网络建立连接,确保VPN网络可正常访问的前提下,再进行录制回放。 VPN相关操作,请参见《 虚拟专用网络 快速入门》。 专线网络 适合通过专线网络,实现其他云下自建数据库与云上数据库录制回放、或云上跨区域的数据库之间的录制回放。 用户需要通过专线网络建立云与数据中心的专线连接。 云专线相关操作,请参见《云专线快速入门》。 公网网络 适合其他云下或其他平台的数据库到目标数据库的录制回放。 为了确保源数据库和目标数据库之间的网络互通,源数据库端和目标数据库端分别需要进行如下设置: 开启公网访问 源数据库端实例需要根据具体的场景,由用户端开启公网访问。 设置安全组规则 源数据库需要将DRS实例的弹性公网IP添加到其网络入口白名单内,使源数据库与DRS实例可以连通。 由于目标数据库和DRS实例处于同一个VPC内,默认网络是连通的,不需要单独设置安全组。 说明: DRS实例创建成功后,可在“源库及目标库”页面获取DRS实例的弹性公网IP。 表4 支持的网络类型 回放方向 源数据库 目标数据库 VPC网络 公网网络 VPN、专线网络 本云 MySQL MySQL 支持 支持 支持 本云 MySQL GaussDB(for MySQL) 支持 支持 支持 本云 GaussDB(for MySQL) GaussDB(for MySQL) 支持 支持 支持 入云 MySQL MySQL 支持 支持 支持 入云 MySQL GaussDB(for MySQL) 支持 支持 支持
  • 实时同步基本原理 图4 实时同步原理 实时同步功能实现源数据库和目标数据库的数据长期同步,主要用于OLTP到OLAP、OLTP到大数据组件的数据实时同步。全量和增量的数据同步和实时迁移的技术原理基本一致,但是基于不同的业务使用场景,两个功能还是有些差异。 实时同步支持异构数据库,针对异构数据库结构同步,DRS服务会通过语法转换,将源数据库的结构定义语句转换为目标库的结构定义语句在目标数据库执行,同时数据库字段类型也会进行映射转换。可以参考各异构链路的数据类型映射关系,也可以使用UGO服务进行异构链路的结构同步。 实时同步会提供更多的数据加工规则可供用户在数据同步时使用,这些规则会在数据抽取、解析、回放阶段进行处理,最终满足用户需要的各种数据同步规则。 实时同步不会同步账号、触发器、事件等对象。 实时同步经常用于多个源数据库到一个目标数据库的数据同步,对于多对一、一对多场景的DDL操作有专门的处理。
  • 录制回放基本原理 录制回放主要分为录制、回放两个阶段,录制过程是从源数据库上将所需时间段内的全部SQL原语句(包括增、删、改、查)通过binlog下载、录制工具等进行采集,以文件形式缓存起来,并往目标数据库注入模拟数据,等待用户执行回放。用户可以在DRS任务上手工触发回放,观察目标数据库的性能表现。也可以通过控制DRS录制回放的线程及回放速度,来模拟源业务流量放大的效果,从而分析目标数据库对于未来业务激增时的稳定性表现。