检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需要调研大数据集群的数量和功能划分，各个集群或组件负责的业务和处理的数据类型，处理实时/离线数据的组件及详细版本信息，数据格式类型和压缩算法，数据安全性和权限控制，高可用性和容错机制，扩展性和弹性等。 调研大数据集群数量和功能划分：例如Hadoop集群、Spark集群、Hive集群等，并根据业务需求
较慢。 python脚本 根据DRS任务的ID，调用接口批量执行对比任务，对比结果输出到xlsx文件中。相比于工具可批量执行，执行效率较高。 库和表级对象对比 DRS工具 对数据库、索引、表、视图、存储过程和函数、表的排序规则等对象进行对比。 python脚本 根据DRS任务的I
境。 应用层：负责工作流控制，实现业务逻辑。上承接入层，处理接入层的请求，返回请求结果；下接中间件层或数据层，实现对数据的增删查改。在云上，应用承载的资源主要有： 虚拟机：在云上，虚拟机又叫做弹性云服务器（Elastic Cloud Server，ECS），是由CPU、内存、操作
设施(例如虚拟机规格信息，CPU，内存利用率性能数据，网络拓扑数据等)，并提供其迁移到华为云的推荐配置以及主机的一站式迁移能力。 主机迁移服务（SMS）：是一种P2V/V2V迁移服务，可以把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器云主机上，具体使用方法请查看SMS帮助文档。
不同版本：Hive大版本不同，先平迁SQL类任务，然后根据版本语法变动，微调SQL语句以适配云上版本语法 脚本类任务 （Python、Shell） 同调度平台：平迁脚本类任务 不同调度平台：平迁脚本类任务，根据云上调度平台，对脚本进行适配改造，以适应新的调度平台运行环境 大数据任务迁移通常按照如下顺序执行：
数据边界 华为云提供了全方位数据边界保护您的敏感数据，全方位数据边界基于身份控制策略、网络控制策略和资源控制策略构筑起一道坚固的数据安全屏障。确保只有经过严格验证的可信身份，在符合安全标准的可信网络环境中，方能获得对特定资源的访问权限，从而保障数据安全。如下图所示，可信身份从互联
集中化运营模式 去中心化模式更强调的是快速创新而不是集中控制，集中化运营模式正好相反，强调的是集中控制而不是快速创新。如下图所示，在集中化运营模式中，CCoE团队负责集中建设和维护Landing Zone，包含云上的骨干网、IAM和合规审计系统等，同时对企业范围内的云环境进行集中
据的最大优势，从IDC或者云上将数据库迁移到华为云，有以下三种方法： 利用SMS主机迁移。如果源端是在ECS上自建数据库，需要将自建ECS数据库服务器迁移到华为云弹性主机ECS上，SMS可以帮助轻松实现，但是此时会中断数据库业务，需要注意。但是当对停机时间有较高要求，您也可以使用
成本估算：根据云服务商的定价模型，估算迁移到云平台的成本，并与传统IT架构的成本进行比较，为决策提供依据。 熟悉主流的云平台及云服务。 具备扎实的IT基础设施知识，包括服务器、网络、存储、数据库、中间件等。 熟悉各种操作系统和应用软件。 了解不同的迁移策略和方法。 具备一定的IT基础设施和业务系统的调研和评估经验。
SQL类： 常用于Hive、Spark、UDF等 Python类：常用于Spark、算法场景等 其他类：如Shell、Scala等，多用于脚本调用 任务数量 调研各类任务的总数量，用于评估任务迁移周期及改造工作量。如：XX调度平台下，Jar任务XX个。 任务更新周期 识别出不同调
要做好数据资产的主动发现和分类分级，围绕数据全生命周期开展数据安全治理工作，对重要数据使用过程中考虑脱敏、加密、审计等措施，对重要数据做好备份。基于身份控制策略、网络控制策略和资源控制策略构筑坚固的数据安全边界，保障敏感数据不泄露。 运维防线 要限制只能从安全的网络环境发起运维活动，并为运维人员建立专门的运
Rehost 也称为“直接迁移”或“Lift and Shift”，将应用程序原封不动地从本地数据中心迁移到云平台。通常使用工具将虚拟机或物理服务器转换为云中的虚拟机。 快速迁移到云平台，以降低成本或提高可用性。 需要快速完成迁移，时间紧迫。 缺乏应用程序的深入了解或修改代码的资源。 Replatform
修复。 验证作业执行结果的一致性 验证大数据任务执行结果的一致性，对比新旧大数据平台的作业输出结果数据是否一致。可以使用对比工具、数据校验脚本或手动检查的方式进行验证。如果发现数据不一致的情况，可能需要考虑迁移过程中的数据转换、数据格式或数据处理逻辑的问题，并进行相应的修复和调整。
编写和维护自动化测试脚本。 编写测试报告和文档。 有扎实的测试理论基础，熟悉软件测试理论、方法和流程等。 具备丰富的测试经验，熟悉各种测试类型，如功能测试、性能测试、安全测试和可靠性测试等。 熟悉主流的云平台及云服务。 熟练使用自动化测试工具，能够编写自动化测试脚本。 能够与周边团队有效沟通和协作。
Runbook执行步骤要尽量细化，确保每个执行步骤对应1个操作人和1个确认人，尽量避免发生1个步骤多个人确认的场景。 Runbook要细化到每个执行命令，尽量脚本化或工具化，操作人直接执行即可，不需要现场临时定制，避免出现人为事故。 Runbook步骤中有并行操作和串行操作，要标记好串并行顺序，避免人为操作不当影响切换时长和切换结果。
Encryption Workshop 数据库安全服务 DSC Data Security Center 数据安全中心 ECS Elastic Cloud Server 弹性云服务器 EIP Elastic IP Address 弹性公网IP ELB Elastic Load Balancing
、容量等。具体的调研内容如下： 调研应用的四层部署架构 收集接入层、应用层、中间件层和数据层的详细信息，收集三种关联关系（共享数据、共享服务器、应用间通信依赖），可以参考下表收集应用的详细部署架构： 表1 应用调研表 应用类型 接入层 应用层 中间件层 数据层 接入域名 备注 应用名称
应用子网和数据子网，分别对应业务系统的应用层和数据层。子网之间使用网络ACL进行访问控制，还可以将云主机、RDS等资源放入到安全组，通过安全组规则进行实例级别的访问控制。业务系统的应用服务器集群可以跨可用区部署，实现应用层的高可用；再使用华为云跨可用区的主备数据库集群和缓存集群实现数据层的高可用。如下图所示：
通过一次或多次演练，提高切换操作的熟悉度和各方的配合默契度以及问题处理的效率，对于一些操作时长比较长的步骤，还可以通过自动化脚本代替人工操作或者持续优化脚本提高执行效率，从而减少正式切换的中断时长。以某大型零售平台上云为例，采用所有业务系统一把切的方案，通过4次演练，正式切换的时间比预期缩短了40%。
测试和部署：在容器化改造完成后，进行全面的测试，包括单元测试、集成测试和性能测试。确保应用程序在容器环境中正常运行。然后，使用自动化工具或脚本将容器部署到生产环境中。 持续集成与交付：建立持续集成与交付（CI/CD）流程，以便能够快速、可靠地构建、测试和部署新版本的容器化应用程序。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
