检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平
和文档资料等方面的信息。用于后续大数据调度平台的选型和方案设计。 调研现有的大数据任务调度平台的类型，例如Azkaban等，了解它们的特点和适用场景。 调研现有大数据任务调度平台的版本，并了解最新版本的功能更新和改进。 确认任务调度平台是否支持当前使用的大数据框架和技术，例如Ha
什么是平台工程 平台工程（Platform Engineering）是一种通过构建和运营自助式内部开发平台（IDP，Internal Developer Platform）来优化软件交付和生命周期管理的工程学科。其目标是通过标准化和自动化的方式，减少开发人员与底层基础设施之间的复
任务数量 调研各类任务的总数量，用于评估任务迁移周期及改造工作量。如：XX调度平台下，Jar任务XX个。 任务更新周期 识别出不同调度平台，不同任务类型的任务更新周期。如：XX调度平台XX类任务月度更新；XX平台XX类型任务每日XX点更新。 任务详细信息 识别出所有任务的详细信息，包括
如何构建平台工程 在云平台上构建平台工程，可以充分利用云平台提供的丰富服务和工具，降低构建和维护成本，并提高IDP的可靠性和可扩展性。以下是一些关键步骤。 明确平台工程的目标和需求 平台工程的核心目标是通过构建自助式内部开发平台（IDP），优化软件交付和生命周期管理，提高开发效率
云网络管理员 负责云平台网络架构的设计、配置和日常运维，保障网络稳定和安全。 管理VPN、专线、VPC、子网、网络ACL、路由、负载均衡、防火墙等网络组件。 监控网络性能，排查网络故障，优化网络延迟和带宽使用。 确保网络安全，防范DDoS攻击等网络威胁。 熟悉云平台的网络服务（如VP
它们支持分布式计算模型和任务调度。通过这些计算框架，可以进行数据处理、特征提取、机器学习、数据挖掘等复杂的计算和分析任务。 数据查询和分析： 对于大量的存储在大数据平台中的数据，需要提供灵活且高性能的查询和分析能力。这可以通过使用SQL查询引擎（如Hive）或分布式数据库（如E
双AZ部署，如下图所示。 图1 双AZ高可用设计 设计要点： 业务模块：集群部署的业务，资源分别部署到 2 个AZ内，并通过 ELB 实现双AZ的负载均衡；单点业务ECS可通过 SDRS 作AZ级容灾。 云服务高可用：主备节点分别双AZ部署。 数据库同步：云上使用RDS数据库服务
数据安全和权限管理：审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏感数据，并采取适当的加密和脱敏措施保护数据安全。 自动化任务调度：确保大数据任务调度平台的运行和调度正常。优化调度策略，确保任务按时准确完成，并处理可能的故障或异常情况。 异常处理和故障恢复：建立故障处理和恢复计
平台工程 什么是平台工程 如何构建平台工程 父主题： 顶层规划
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
和维护微服务。服务注册与发现工具可以帮助您自动化服务的注册和发现过程，并提供服务的健康状态检查和负载均衡等功能。 此外，还应该考虑负载均衡、故障恢复和服务安全等方面的问题。使用负载均衡机制来平衡请求的分发，确保每个微服务能够处理适量的负载。实施故障恢复机制（如断路器模式）来处理故
评估和规划：首先，评估应用程序或服务的特性、依赖关系和架构。确定哪些部分适合容器化，并制定一个改造计划。 容器化平台选择：选择一个适合你的需求的容器化平台。最常见的容器化平台是Docker，但也有其他选择，如Kubernetes等。 容器化应用程序：将应用程序拆分为较小的模块或微服务
让用户通过内网地址访问云上弹性云服务器、负载均衡等资源，也可以使云上云下进行业务互通、数据传输等。 EIP：即弹性公网IP（Elastic IP），包括公网IP地址与公网出口带宽服务。可以与弹性云服务器、裸金属服务器、虚拟IP、弹性负载均衡、NAT网关等资源灵活地绑定及解绑，提供访问公网和被公网访问能力。
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
调整权限级别和范围 在目标平台上，根据源端平台的权限设置，调整权限级别和范围。确保目标平台上的权限设置与源端平台一致，并确保用户只能访问其应有的资源。 权限分配和继承 在目标平台上，根据源端平台的权限设置，对用户进行权限分配和继承。确保用户在目标平台上具有与源端平台相同的权限，并能够继承相应的角色和权限设置。
方案2：在华为云ECS服务上重新部署nginx或openresty，然后拷贝源端配置文件到目的端，并修改配置文件的转发策略。 负载均衡器 提供4层或7层流量转发 将源端的负载均衡策略重新配置到华为ELB Kong/Zuul网关等 微服务网关 方案1：使用SMS主机迁移工具将Kong/Zuul网关服务运行的服务器迁移到华为云。
迁移方法请参考前面的数据迁移部分的内容。 源端SQL脚本导出：从源端任务调度平台导出SQL脚本。 修改SQL脚本：根据云上调度平台的语法及资源配置修改SQL脚本。 目标云平台导入SQL脚本：在云上任务调度平台配置SQL类任务，导入SQL脚本。 SQL任务运行和测试：执行SQL调
方式，将实时数据上报到双跑的两个平台。 双平台同时运行 目标大数据集群、任务调度平台与原大数据集群、任务调度平台同时运行一段时间。在这段时间内，两个平台会并行处理任务，并产生相应的结果。 运行稳定性验证 在双平台同时运行期间，需要对目标大数据平台任务执行的稳定性、数据一致性进行持
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
