检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需要调研大数据任务调度平台的类型、版本、支持的大数据框架和技术，调度任务类型，可视化和管理界面，扩展性和集成性，容错和故障恢复，安全性和权限控制以及社区支持和文档资料等方面的信息。用于后续大数据调度平台的选型和方案设计。 调研现有的大数据任务调度平台的类型，例如Azkaban等，了解它们的特点和适用场景。
Checklist参考 表1 Runbook Checklist参考样例 大类 前置工作项 责任部门 活动 是否涉及 是否完成 计划完成时间 责任人 组织和保障准备 - 项目经理 - 是 - - - - 项目经理 - 是 - - - 第三方/业态 - 业务相关 - 是 - - - 环境清单核对 应用清单检查并刷新启停
中重点考虑可用性、可扩展性和性能，安全、成本和可运维性遵循基础环境的设计进行适配即可。 大数据架构设计：大数据的部署架构设计包括大数据集群部署架构设计、大数据任务调度平台部署架构设计和大数据应用部署架构设计，其中大数据应用的部署架构可以参考应用部署架构的设计方法。大数据架构设计同样要考虑架构设计的6要素。
工作量。 弹性扩展和自动伸缩：设计云上的大数据集群时，应考虑集群的弹性扩展和自动伸缩能力。这意味着集群可以根据工作负载的需求自动增加或减少计算和存储资源，以提高性能、效率并节约成本。 容错和高可用性：云上部署的大数据集群应具备容错和高可用性，以保障系统的可靠性和稳定性。这可以通过
比两者的TCO时不应该按照一年期进行对比，而是应该按照企业的IT设备折旧周期，也就是对比3-5年的TCO。 计算上述传统模式和云模式的成本是一项复杂的工作。其一，IT设备和云服务的价格是动态变化的，比如云服务商经常调整云服务的价格，您计算云服务的成本时可以参考华为云提供的价格计算
务开发自己的加密应用。关于DEW服务的详细功能和详细使用方法，请参考官网帮助文档。 主机安全 主机安全服务（Host Security Service，HSS）是以工作负载为中心的安全产品，HSS通过对主机、容器进行系统完整性的保护、应用程序控制、行为监控和基于主机的入侵防御等，
根据Flexera在2024年发布的《State of the Cloud Report》报告显示，管理云成本成为企业用云的头号挑战，企业的的云成本平均超过预算15%，平均有27%的公有云成本是浪费的，51%的企业已经成立了专门的FinOps团队，另外有20%的企业计划在未来一年成立FinOps团队。
在首次数据加载时，能极大的提高写入效率，并降低对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了分区对应的列名和每一列的值。当分区很多时，会有很多
验证作业执行的成功率 在任务迁移完成后，对迁移后的大数据任务进行验证。这包括运行作业并检查作业的执行成功率。验证过程中，需要关注作业的状态、日志以及错误和异常情况。对于执行异常的任务，需要仔细检查和调试，找出问题并进行修复。 验证作业执行结果的一致性 验证大数据任务执行结果的一致性，
上述流程，才能将一个迁移批次的所有应用迁移到云端，如下图： 图2 分批迁移流程 用小循环的每个阶段概述如下： 调研：对应用的技术架构进行详细的调研，详细到具体的技术组件和版本信息。 设计：深度调研结果，给出云上的技术架构和规格选型，输出详细的迁移方案和切换方案。 部署：创建云上资
迁移组：是一组具有依赖关系（含环境依赖）的应用程序和基础架构的集合，包括APP、主机、存储、数据库、中间件。 迁移批次：是指一组具有相同的预期开始日期和结束日期的一个或多个迁移组的组合，一个迁移批次可能含有多个迁移组。 迁移优先级：是指应用程序的迁移顺序。 迁移批次规划：包括迁移分组、分批的信息和迁移优先级的
性能监测和性能权衡。 方案选择 根据不同场景选择不同的解决方法，并且结合多种方法，这样可以更容易地找到一种与需求符合的方法； 不断迭代的方法，使用数据驱动来优化资源类型和配置选项的选择； 性能度量 设置性能度量和监控指标，以捕获关键的性能指标； 使用可视化技术呈现性指标和性能问题（如：异常状态、低利用率等）；
业务切换是整个上云迁移的关键环节，出问题会直接影响企业业务，不同业务对停服的要求是不一样的，比如，有些业务在切换期间是不允许停服的，停服会造成较大的业务损失；有些业务在切换期间是允许停服的，比如办公OA系统，夜间非工作期间可以停服；有些业务系统，为了更好的客户体验，希望切换期间部分浏览类的业务继
可能地降低部署和运维的成本。 可运维性：可运维性设计的目的是提高系统的可维护性（包括自动化部署、监控告警、日志分析、容量规划、故障排查等），保障系统在运行时的状态可视化，故障时的快速恢复。 其中安全性、成本和可运维性这三个设计要素是全局的，在基础环境中进行统一设计，应用部署架构设
不合规。 标签策略当前的应用方式为事前拦截，即标签策略开启强制执行后，则会阻止在指定的资源类型上完成不合规的标记操作。 标签策略可以绑定到组织的根、OU和账号。当绑定到根和OU时，所有子OU和子账号都继承该标签策略。账号继承的所有标签策略和直接绑定到账号上的所有标签策略，根据继承运算符最终聚合为有效标签策略。
有云双AZ环境中获得满意的性能和用户体验， 选择合适的AZ 云服务提供商通常会提供各个AZ的大致物理位置和网络延迟信息，不同AZ间可能在物理位置上相隔较远，导致网络延迟增加，实施跨AZ高可用方案要优先选择距离较近的AZ，可以降低网络延迟并提高应用的响应速度。 延迟验证 在正式实施
性能匹配 存储服务的性能指标包括传输带宽、IOPS和时延等，如下表所示，您需要根据业务系统的性能要求和特点选择最合适的存储服务及对应的规格。 另外，EVS和OBS对所存储对象的大小无限制，SFS通用容量型不适合1MB以下的海量小文件应用，SFS Turbo和后续的SFS通用性能型可支撑海量小文件应用。
包年包月：通过预付一定周期的资源使用费用，来获取优惠的计费模式。一般适用于资源长期使用，业务较稳定的场景。 资源包：一种特殊的包年包月，可通过预付一定周期下某种资源使用量的费用，来获取优惠的计费模式。资源包可以抵扣多个资源的用量，适用于长期使用且用量比较稳定的场景。 竞价计费：适应于业务稳定性不高，
迁移实施常见问题 关于迁移实施过程中的常见问题及答案，请查看如下链接。 主机迁移服务SMS的常见问题。 Redis数据迁移常见问题。 对象存储迁移服务OMS的常见问题。 数据库迁移的常见问题。 父主题： 迁移
数据架构师：由IT主管指派，来自IT部门的大数据团队，负责设计企业在云上的数据架构，包括数据存储、数据处理、数据集成和数据治理。 应用架构师：由业务主管指派，来自业务部门的应用团队，负责设计和管理业务系统在云上的应用架构，包括应用的架构模式、技术选型、部署方式等，确保应用的性能、可扩展性、安全性和可靠性。 业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
