云服务器内容精选

  • 约束与限制 开通 AOM 前请先 注册华为账号 并完成实名认证。 AOM 2.0当前在华北-乌兰察布-汽车一、华北-乌兰察布一、华北-乌兰察布二零一、华北-乌兰察布二零二、中东-利雅得、华北-北京一、华北-北京四、华北-北京二、华东-上海一、华东-上海二、华东-青岛、华东二、华南-广州、华南-深圳、西南-贵阳一、中国-香港、亚太-曼谷、亚太-新加坡、亚太-雅加达、非洲-约翰内斯堡、土耳其-伊斯坦布尔、拉美-墨西哥城一、拉美-墨西哥城二、拉美-圣保罗一和拉美-圣地亚哥区域开放。 如果需要回到AOM 1.0控制台,可以在AOM 2.0控制台左侧导航栏中单击“返回旧版”。如果想从AOM 1.0控制台进入AOM 2.0控制台,可在左侧导航栏单击“体验新版”,进入AOM 2.0控制台页面。
  • 方式一 登录AOM华为云官网。 在AOM产品简介下方单击“AOM2.0控制台”,即可进入AOM 2.0服务页面。 图1 登录AOM官网 在弹出的“通知”对话框中仔细阅读从AOM 1.0切换到AOM 2.0计费方式变化的说明。 单击“授权”,然后在“云服务授权”页面中仔细阅读授权声明后,勾选“我已阅读并同意授权声明”。 单击“免费开通服务并授权”,即可免费开通AOM 2.0服务。 在页面左侧导航栏单击任意一个功能名称,如“仪表盘”,可进入该功能的操作界面。
  • 文件/路径过滤器 参数位置:在创建表/文件迁移作业时,如果源端数据源为文件类型,那么源端作业参数的高级属性中可以看到“过滤类型”参数,该参数可选择:通配符或正则表达式。 参数原理:“过滤类型”选择“通配符”时, CDM 就可以通过用户配置的通配符过滤文件或路径,CDM只迁移满足指定条件的文件或路径。 配置样例: 例如源端文件名带有时间字段“2017-10-15 20:25:26”,这个时刻生成的文件为“/opt/data/file_20171015202526.data”,则在创建作业时,参数配置如下: 过滤类型:选择“通配符”。 文件过滤器:配置为“*${dateformat(yyyyMMdd,-1,DAY)}*”(这是CDM支持的日期宏变量格式,详见时间宏变量使用解析)。 图1 文件过滤 配置作业定时自动执行,“重复周期”为1天。 这样每天就可以把昨天生成的文件都导入到目的端目录,实现增量同步。 文件增量迁移场景下,“路径过滤器”的使用方法同“文件过滤器”一样,需要路径名称里带有时间字段,这样可以定期增量同步指定目录下的所有文件。
  • 时间过滤 参数位置:在创建表/文件迁移作业时,如果源端数据源为文件类型,那么源端作业配置下的高级属性中,“时间过滤”参数选择“是”。 参数原理:“起始时间”和“终止时间”参数中输入时间值后,只有修改时间介于起始时间和终止时间之间(时间区间为左闭右开,即等于起始时间也在区间之内)的文件才会被CDM迁移。 配置样例: 例如需要CDM只同步2021年1月1日~2022年1月1日生成的文件到目的端,则参数配置如下: 时间过滤器:选择为“是”。 起始时间:配置为2021-01-01 00:00:00(格式要求为yyyy-MM-dd HH:mm:ss)。 终止时间:配置为2022-01-01 00:00:00(格式要求为yyyy-MM-dd HH:mm:ss)。 图2 时间过滤 这样CDM作业就只迁移2021年1月1日~2022年1月1日时间段内生成的文件,下次作业再启动时就可以实现增量同步。
  • 性能影响因素 根据迁移模型,可以看出CDM数据迁移的速率受源端读取速度、网络带宽、目的端写入性能、CDM集群和作业配置等因素影响。 表1 性能影响因素 影响因素 说明 业务相关因素 作业抽取并发数配置 创建CDM迁移作业时,支持设置该作业的抽取并发数。 该参数设置为适当的值可以有效提升迁移速度,过小则会限制迁移速度,过大则会导致任务过载、迁移失败。 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 集群最大抽取并发数规格 该参数设置为适当的值可以有效提升迁移速度,过小则会限制迁移速度,过大则会导致源端负载过高、影响系统稳定性。 不同规格的CDM集群支持的最大抽取并发数规格不同,并发数上限建议设置为vCPU核数*2。 cdm.large:16 cdm.xlarge:32 cdm.4xlarge:128 业务模型 如果大量CDM作业同时执行,当超过当前CDM集群的并发执行作业数时,会导致作业排队,耗时提升。 建议您将迁移作业的运行时间错开,平摊在业务周期内,避免资源紧张导致迁移时间过长。 数据模型 数据迁移时,对于不同的数据结构,迁移速度也会受到一定影响。例如: 对于表迁移,宽表的迁移速度较慢,字符串类型越多(字段大小)迁移速度越慢。 对于文件而言,总大小相同时,大文件迁移较快,多个小文件迁移较慢。 对于消息而言,消息内容越多,所占带宽越高,每秒事务(TPS)越低。 源端读取速度 取决于源端数据源的性能。 如需优化,请参见源端数据源的相关说明文档。 网络带宽 CDM集群与数据源之间可以通过内网、公网VPN、NAT或专线等方式互通。 通过内网互通时,网络带宽是根据不同的CDM实例规格的带宽限制的。 cdm.large实例规格CDM集群网卡的基准/最大带宽为0.8/3 Gbps。 cdm.xlarge实例规格CDM集群网卡的基准/最大带宽为4/10 Gbps。 cdm.4xlarge实例规格CDM集群网卡的基准/最大带宽为36/40 Gbps。 通过公网互通时,网络带宽受到公网带宽的限制。CDM侧公网带宽规格受限于CDM集群所绑定的弹性公网IP,数据源侧受限于其所访问的公网带宽规格。 通过VPN、NAT或专线互通时,网络带宽受到VPN、NAT或专线带宽的限制。 目的端写入性能 取决于目的端数据源的性能。 如需优化,请参见目的端数据源的相关说明文档。
  • 数据迁移模型 CDM数据迁移时,简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。
  • 迁移可能带来的影响 公网出入口的变化 专享版实例可以根据需要分别开启公网入口和公网出口,每个实例都会有单独的公网入口IP和公网出口IP,该IP与原有的共享版IP不同,如果上游和下游(服务端和客户端)的相关服务有网络安全策略的设置,需要修改相应的网络安全策略,放通对应IP的访问。 内网出入口的变化 每个专享版实例都会拥有一个VPC内的入口私有IP,以及VPC内的多个出口私有IP(专享实例的基础版、专业版、企业版,以及铂金版分别有3、5、6、7个私有地址。在铂金版的基础上,铂金版X依次增加4个私有地址。),上下游服务(服务端和客户端)需要酌情调整网络安全策略,保证网络可达。如果下游存在跨VPC调用的场景时,需要通过 VPC终端节点 对接到APIG专享版的VPC终端节点服务上,以保证网络可达。具体操作详见实施步骤。 调试 域名 的变化 原共享版的分组调试域名{group-id}.apig.{region-id}.huaweicloudapis.com将会更新为{group-id}.apic.{region-id}.huaweicloudapis.com,如果有使用调试域名进行API调用的,则需要做相应修改。
  • 为什么要采用mysqldump工具迁移TaurusDB标准版实例 该方案优点是简单,容易上手,缺点是停机时间较长。因此它适用于数据量不大,或者允许停机的时间较长,并且在这个时间范围内能够完成的数据。 由于TaurusDB标准版提供的服务与原来的数据库服务是完全兼容的,所以对于用户来说,从原有数据库迁移到TaurusDB标准版的过程,与从一台数据库服务器迁移到另外一台数据库服务器的过程基本类似。 父主题: 数据库迁移
  • 保障 在上云迁移的保障阶段,需要执行以下任务来确保顺利过渡到新的云环境: 云平台监控:确保建立有效的监控系统,跟踪云平台的性能、可用性和安全性。设置警报机制,及时发现并解决潜在的问题。 系统监控和运维:设置系统监控和告警,确保及时发现和解决潜在的问题。配置基础设施监控工具,监测服务器、存储、网络等关键指标,并确保日志记录和错误报警机制正常运行。 安全检查和漏洞修复:进行安全检查,查找可能存在的漏洞或弱点,并采取适当的补救措施来加强安全性。更新和修补系统和软件,确保使用的组件和版本都是最新的,并及时应用安全补丁。 备份和灾难恢复策略:评估和设置新的备份和灾难恢复策略,确保数据的安全性和可恢复性。执行定期备份,并进行灾难恢复演练来验证备份的可用性和恢复过程。 优化和调整:根据实际运行情况,进行系统和应用程序的优化和调整。监测性能指标,识别瓶颈和性能问题,并针对性地进行调整和优化,以提升系统的稳定性和响应能力。 培训和支持:提供必要的培训和支持给运维团队,确保熟悉新的云环境和工具。 文档输出:记录并维护文档,以供将来参考和备案。 父主题: 应用迁移上云
  • 大数据平台部署 大数据平台的部署可以参考如下方法: 大数据集群部署 基于架构设计的原则,云上大数据集群一般采用云服务。华为云 MRS 是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。具体部署方法可参考MRS官网文档。 大数据任务调度平台部署 如果目标架构是采用华为云的任务调度平台 DataArts Studio ,可以参考如下官网文档进行部署和配置。 如果目标架构是采用自建的大数据任务调度平台,有2种方法部署,可以基于华为云E CS 重新部署大数据任务调度软件,或者是使用华为云 SMS 工具将源端调度平台迁移到华为云ECS。 大数据应用部署 大数据应用的部署有2种方法,可以基于华为云ECS重新部署大数据应用,或者是使用华为云SMS工具将大数据应用迁移到华为云ECS。
  • 平台权限配置 平台权限配置 在部署好目标大数据平台后,为了确保正确的权限设置,可以参考源端平台的权限设置,并按照以下步骤进行设置: 审查源端权限设置 仔细审查源端平台的权限设置,包括用户、角色、组织结构和权限级别等信息。了解每个用户的权限范围和访问权限,以便在目标平台上进行对应的设置。 创建用户和角色 根据源端平台的权限设置,创建相应的用户和角色。确保在目标平台上设置与源端平台一致的用户身份和角色分配。 调整权限级别和范围 在目标平台上,根据源端平台的权限设置,调整权限级别和范围。确保目标平台上的权限设置与源端平台一致,并确保用户只能访问其应有的资源。 权限分配和继承 在目标平台上,根据源端平台的权限设置,对用户进行权限分配和继承。确保用户在目标平台上具有与源端平台相同的权限,并能够继承相应的角色和权限设置。 审查和调整访问控制 审查目标平台上的访问控制机制,并根据源端平台的权限设置进行调整。确保访问控制能够限制用户的访问范围,并遵循源端平台的权限规则。 安全审计和监测 设置安全审计和监测机制,确保目标平台上的权限设置得到有效的审计和监测。这可以帮助发现和防止未经授权的访问,并及时采取相应的措施。
  • 接入层迁移实施 EIP EIP不涉及到迁移,EIP通常需要在目标端华为云环境中重新购买,如果EIP需要对华为云以外的地方提供服务,那么该EIP需要在当地信管局进行服务域名和对应EIP的备案,备案通过后,方可对外提供服务。EIP购买和使用方法,请参照华为云弹性公网IP服务。 备案是中国大陆的一项法规,使用大陆节点服务器提供互联网信息服务的用户,需要在服务器提供商处提交备案申请。不同备案类型的备案流程略有区别。具体备案流程,请参照华为云备案服务。 负载均衡 迁移到华为云ELB:源端的负载均衡可能是硬件负载均衡器或者是负载均衡软件,都可以使用华为云的ELB云服务替代,在目标端开通ELB服务,然后参考源端策略配置目标端 ELB负载均衡 策略,具体部署流程,请参照华为云弹性负载服务ELB。 迁移到ECS上部署的软件负载均衡:如果源端是服务器上自建的负载均衡,迁移到华为云上仍然采用ECS自建负载均衡的场景,也可以使用SMS工具迁移。 VPN VPN需要在目标端华为云重新部署,具体部署流程请参照华为云 虚拟专用网络 VPN。 父主题: 迁移
  • 数据层迁移方案 数据层主要负责业务数据的持久化,为上层业务逻辑的实现提供数据支持,数据层包括两类数据,结构化数据和非结构化数据。结构化数据包含各类数据库,例如MySQL数据库、MongoDB数据库等,非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据,主要为业务提供即时数据支撑,包含数据查询、计算、分析、修改等操作。业务连续性高的业务,很依赖数据库迁移工具的实时同步能力。在做结构化数据迁移方案时,需要结合业务连续性、迁移网络、业务架构等因素,选择合适的结构化数据迁移方案,做到数据迁移复杂度、数据迁移实时性,业务连续性的平衡。 MySQL迁移方案 表1 MySQL迁移方案 迁移方式 迁移方式 特点 适用场景 华为云DRS 数据复制服务 (推荐) 全量+增量迁移 配置简单,一键迁移,支持实时同步增量数据 1.适用于自建或云服务MySQ L实例 迁移华为云服务MySQL实例 2.适用于自建或云服务MySQL实例迁移至华为云自建MySQL实例(需先迁到云服务再迁移到自建) mysqldump导出导入 全量迁移 不依赖网络,操作较为复杂,只能全量迁移,不支持增量数据同步 停服时间窗较长场景 主从复制replication 全量+增量迁移 操作复杂 仅适用于源端和目标端均为自建MySQL数据库,由于源端和目的端版本不兼容等问题无法使用华为云DRS数据复制服务的场景 SQLserver迁移方案 表2 MySQL迁移方案 迁移方式 迁移方式 特点 适用场景 华为云DRS数据复制服务 (推荐) 全量+增量备份导入 工具界面化,操作简单 适用于自建SQLserver实例或云服务SQLserver实例迁移至华为云云服务SQLserver实例 备份与恢复 全量+增量备份导入 操作繁琐 适用于自建SQLserver实例或云服务SQLserver实例迁移至华为云RDS for SQL Server PostgreSQL迁移方案 表3 PostgreSQL迁移方案 迁移方式 迁移方式 特点 适用场景 华为云DRS数据复制服务 (推荐) 全量+增量迁移 配置简单,一键迁移,支持实时同步增量数据 适用于自建PostgreSQL实例或云服务PostgreSQL实例迁移至华为云自建PostgreSQL实例或RDS for PostgreSQL pg_dump导出导入 全量迁移 优点:不依赖网络 缺点:操作较为复杂,只能全量迁移,不支持增量数据同步 适用于无法使用华为云DRS数据服务的场景 MongoDB迁移方案 表4 MongoDB迁移方案 迁移方式 迁移方式 特点 适用场景 华为云DRS数据复制服务 (推荐) 全量+增量迁移 配置简单,一键迁移,支持实时同步增量数据 适用于自建MongoDB实例或云服务MongoDB实例迁移至华为云自建MongoDB实例或云服务MongoDB实例 导出导入 全量迁移 不依赖网络,操作较为复杂,只能全量迁移,不支持增量数据同步 适用于无法使用华为云DRS数据服务的场景 非结构化数据迁移方案 非结构化数据是数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。当前企业业务中承载非结构化数据的存储方式主要为文件存储和对象存储。 NAS迁移方案 表5 NAS迁移方案 迁移方案 迁移方式 特点 适用场景 华为云CDM服务 (海量数据迁移推荐) 全量+增量 操作简单,支持增量迁移。对海量数据支持更好 适用于将源端对象存储、网络文件存储,大数据存储迁移至华为云OBS对象存储、华为云SFS弹性文件存储、华为云大数据存储中的海量数据迁移。 开源工具rclone/rsync 全量 rclone配置复杂;rsync迁移效率低 适用于华为云FMS工具和华为云CDM服务无法使用时的迁移场景。 对象存储迁移 方案 表6 对象存储迁移方案 迁移方案 迁移方式 特点 适用场景 华为云 OMS 服务(推荐) 全量+增量 操作简单,高并发,支持数据校验、可视化报告 适用于将源端对象存储迁移至华为云OBS对象存储。 开源工具rclone/rsync 全量 rclone配置复杂;rsync迁移效率低 适用于华为云OMS服务无法使用时的迁移场景。 父主题: 设计迁移方案
  • 应用层迁移方案 应用层通常部署在物理机、虚拟机或容器内,应用的类型包括有状态和无状态两种。应用的部署方式和应用状态是应用层迁移方案设计时需要考虑的因素,不同的部署方式和应用状态适用的迁移方案不同。 平迁部署在主机上的应用 传统架构的应用,通常部署在物理机或虚拟机,建议优先通过华为云SMS 主机迁移 工具进行迁移;如果无法使用华为云SMS进行迁移的,可以采用应用重新部署的方式;对于可停机迁移的应用,也可以考虑采用镜像导出导入的方式进行迁移,详细方案见下表: 表1 主机平迁方案 迁移方案 迁移方式 特点 适用场景 使用华为云SMS主机迁移工具迁移(推荐) 全量+增量 1.停机时间短,可持续进行增量同步 2.依赖网络传输,且要求源端操作系统版本在华为云支持列表内 适用于所有源端为x86架构的物理机或虚拟机迁移,有增量数据 华为云ECS重新部署 NA 1.不依赖网络传输 2.相比工具迁移工作量较大 所有 镜像导出导入 全量 1.不依赖网络传输 2.停机时间较长,需要源端物理机或虚拟机停机后,制作完整镜像 停机窗口较长的场景 (停机窗口至少4小时以上才建议考虑此方案) 平迁部署在容器中应用 部署在容器中应用一般是云原生的应用,通常是微服务架构的应用,可以通过镜像迁移或重新发布两种方式做迁移。 企业云原生应用系统以微服务架构为主,通常部署在容器中,这种场景,多数企业也同时会拥有自己的开发流水线CI/CD系统,所以,这种场景的应用上云可以使用容器镜像迁移的方式迁移,或者使用CI/CD流水线重新发布的方式迁移。 表2 容器迁移方案 迁移方案 特点 适用场景 CI/CD重新发布(推荐) 操作简单,配置可控 源端具备CI/CD流水线 容器镜像迁移 人工操作,工作量大 所有 容器迁移工具(Velero或E-Backup) 操作简单,可快速还原源端配置 所有 主机上的应用容器化上云 对于部署在主机上的传统应用,如果要迁移到容器,就需要将传统应用进行容器化改造,将主机上的应用改造成容器镜像,部署到K8S或华为云CCE集群。容器化改造上云,属于应用现代化,具体请参考应用现代化。 父主题: 设计迁移方案
  • 业务流程 集成资产的恢复/迁移流程如下表所示。 表2 业务流程 序号 操作 说明 1 准备工作 获取集成资产包,并收集周边系统(如数据源、后端服务、业务应用)的对接信息。 2 修改实例配置 修改待恢复或新实例的安全组、配置参数等配置。 3 导入集成资产 在待恢复或新实例中导入集成资产包。 4 修改集成应用配置 修改集成应用的授权配置。 5 修改数据源配置 修改数据源的连接配置。 6 修改API配置 修改API的环境、控制策略、密钥、黑白名单等配置。 7 修改设备配置 批量创建设备和规则。 8 业务对接适配和验证 周边业务系统的对接适配和业务验证。