检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
无异常报错或告警。 反向迁移任务的状态检查:数据层或中间件通常要考虑回退的链路,切换之前同时要检查反向迁移同步任务的状态,确保无异常报错或告警。 参数一致性检查:核对源端参数和目的端云服务参数的一致性,如数据库的字符集一致性,数据库的用户名等一致性等。 父主题: 设计Runbook
开发、安全与运维 DEW Data Encryption Workshop 数据库安全服务 DSC Data Security Center 数据安全中心 ECS Elastic Cloud Server 弹性云服务器 EIP Elastic IP Address 弹性公网IP ELB Elastic
为云SMS工具将源端调度平台迁移到华为云ECS。 大数据应用部署 大数据应用的部署有2种方法,可以基于华为云ECS重新部署大数据应用,或者是使用华为云SMS工具将大数据应用迁移到华为云ECS。 平台权限配置 平台权限配置 在部署好目标大数据平台后,为了确保正确的权限设置,可以参考
云服务高可用:主备节点分别双AZ部署。 数据库同步:云上使用RDS数据库服务,进行跨AZ主备部署,跨AZ间数据同步。 灾难恢复切换:当AZ发生故障时,RDS 数据库等自动切换至备库,应用层自动或者通过 SDRS 的一键容灾切换功能切换至其他AZ。 容灾演练:通过应用切换或 SDRS 提供的容灾演练功能进行一键演练。
图1 大数据的数据迁移顺序 元数据迁移 首先,进行元数据的迁移。元数据是描述数据的数据,包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段,需要将原始数据的元数据信息导出,并在目标系统中重新建立或导入元数据,以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
虚拟机、容器、无服务器计算等服务的费用,通常按使用时间、CPU、内存等计费。 存储资源成本 对象存储、块存储、文件存储等服务的费用,通常按存储空间、请求次数、数据传输量等计费。 网络资源成本 互联网带宽、公网IP地址、NAT网关、负载均衡器、VPN等网络服务的费用。 数据库成本 关系型数据库、N
中间件层迁移实施 Redis迁移 Redis服务一般分为两种大的场景:缓存和数据库存储。在缓存时,一般不用进行迁移数据,大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景,其中在web场景下的缓存session时,也可以不用迁移
改造和迁移时,和关键人员及时沟通。 任务依赖关系 识别关键任务,识别任务间依赖关系。 调研的方法主要是通过当前大数据平台获取,并辅助一些调研访谈进行补充和确认。 父主题: 大数据调研
部署架构,即接入层、应用层、中间件层和数据层,同时还要调研每一层技术组件的详细信息,比如规格、版本、容量等。具体的调研内容如下: 调研应用的四层部署架构 收集接入层、应用层、中间件层和数据层的详细信息,收集三种关联关系(共享数据、共享服务器、应用间通信依赖),可以参考下表收集应用的详细部署架构:
工具,将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移服务(CDM)可以轻松将外部数据源(关系数据库、对象存储服务、文件系统服务等)加载到Hive分区表。详细操作指导请参考官网文档。 MRS HDFS数据迁移到OBS CDM支持将MRS HDFS的数据迁移到OBS,详细操作指导请参考官网文档。
什么是应用现代化 把应用和数据搬“上云”并不是终点,上云只是数字化转型的开始,我们还需要持续进行巩固和优化,通过“应用现代化”来应对新的IT和业务的需求,支撑云上业务发展,“上云”只是做了搬运工和架构师的事,“云上”我们要做体验官,通过使用云的新技术来不断优化业务体验,支撑业务创新。
档。 数据安全中心 数据安全中心服务(Data Security Center,DSC)是新一代的云化数据安全平台,提 供数据分级分类、数据安全风险识别、数据水印溯源和数据静态脱敏等基础数据安全能力。DSC通过数据安全总览整合数据安全生命周期各阶段状态,对外呈现整体云上数据安全态
个通用服务器和应用程序监控工具,它支持对服务器和数据库、虚拟机、应用程序、Web服务和其他组件的监控。 Datadog 商用 Datadog是一款具有应用程序监控和映射功能的性能监控工具。它可以在整个基础架构中收集信息,包括匹配特定客户、端点或错误代码的跟踪,它自动映射数据流,并可以按依赖关系组织服务。
行统一的数据安全防护,包括针对所有成员账号的统一数据安全风险识别和统一数据保护(数据水印、数据脱敏)。安全运营账号的DBSS服务可以基于Agent采集模式,在网络可达的前提下,实现跨账号的数据库审计和统一信息展现。安全运营账号的CCM服务可以集中申请SSL证书,然后通过RAM服务
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比,文件的对比方法有文件数量对比,大小对比,内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。一般从如下三方面验证: 验证作业执行的成功率
在云平台Console控制台手动创建云资源。 编写脚本或通过自动化平台对接,调用云平台的API接口,批量发放云资源,每个云服务都有对应的API接口,可以进行资源的生命周期管理。详情请见对应服务的帮助文档。例如,利用API创建云服务器,请参考这个链接。 使用华为云提供的应用编排服务RF
调研数据流: 调研大数据平台及业务的架构图及数据流图,如下图: 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式(如:实时数据上报、批量数据抽取)。 分析大数据平台数据流向,数据在平台内各个组件间的流向,例如:数据采集组件类型、采集组件下一层、存储数据组件,数据处理过程中的工作流等。
的资源,如NTP服务器、自建DNS服务器或者SFS文件存储等。 基于RAM的共享:通过华为云RAM服务设置资源共享,授权其他组织单元和账号使用该共享资源的权限,该共享方式更加安全。目前支持通过RAM进行跨账号共享的资源清单请参考官网文档。 基于资源策略的共享:通过资源策略授予其他
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储
IT部门 数据库管理员 负责云上数据库的部署、配置、监控和维护。 确保数据库的高可用性和数据安全,定期进行备份和恢复演练。 优化数据库性能,解决查询慢、锁等待等问题。 管理数据库的权限和访问控制,确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库(如MySQL、PostgreSQL等)的管理。