检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据
云资源开通及配置 部署主要是进行云上目标环境的资源开通和配置，并做好上云前的各项检查和测试，并进行迁移环境的准备。 要按照应用部署架构设计方案进行云上资源的开通和配置，云上资源开通主要有如下3种方式： 在云平台Console控制台手动创建云资源。 编写脚本或通过自动化平台对接，调
安全配置基线 安全配置是信息系统的最小安全保障，云安全配置是云环境最基本的安全保证，是开展安全防护和安全运营的基础。 如果云服务没有达到安全配置基线要求，云上业务及资产将面临巨大安全风险。为了帮助客户提高云环境的安全防护能力，华为云为客户提供了华为云安全配置基线指南。该指南包括身
建议实现端到端的双AZ部署，如下图所示。 图1 双AZ高可用设计 设计要点： 业务模块：集群部署的业务，资源分别部署到 2 个AZ内，并通过 ELB 实现双AZ的负载均衡；单点业务ECS可通过 SDRS 作AZ级容灾。 云服务高可用：主备节点分别双AZ部署。 数据库同步：云上使用
部署 大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hado
应用部署架构示例 下图是音频类应用的云上部署设计参考架构： 图1 应用部署架构设计示例 设计要点： 用户接入采用多线路动态BGP，实现公网访问线路的自动容错，可靠性高； 华为云ELB采用集群跨可用区高可靠部署，单数据中心机房故障对业务无影响； 应用接入层采用跨可用区集群部署，单可用区的故障不会影响到全局业务；
华为云大数据组件 常用的华为云大数据服务组件如下，设计大数据部署架构时可参考： MapReduce服务（MapReduce Service，简称MRS） MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群，完全兼容开源接口，轻松运行Hadoop、Spark
公共服务管理 首先您要识别出各个业务单元所需要的公共IT服务和资源，比如NTP服务器、SFS文件存储、自建DNS服务器、OBS桶、虚拟机镜像、证书等，也可以是CodeArts等PaaS服务。然后集中部署和维护这些公共IT服务，将其共享给公司内所有业务单元。华为云提供了三种资源共享的方式。
承载的资源主要有： 虚拟机：在云上，虚拟机又叫做弹性云服务器（Elastic Cloud Server，ECS），是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后，可以像使用自己的本地PC或物理服务器一样，在云上使用弹性云服务器。 容器：容器虚拟化技
调研应用部署架构 应用部署架构的调研是在试点迁移或大规模迁移阶段进行的，应用部署架构是基于单个应用进行调研的，主要调研应用的四层部署架构，即接入层、应用层、中间件层和数据层，同时还要调研每一层技术组件的详细信息，比如规格、版本、容量等。具体的调研内容如下： 调研应用的四层部署架构
选择共享型ELB并开启性能保障模式（支持5万并发），购买两个实例、通过域名解析分流可获得更大的并发支持。 超过10万并发、要求全链路HTTPS或高级转发策略支持的场景，建议选择独享型ELB。 ECS需要访问公网时，不建议直接绑定EIP，建议增加公网NAT网关统一走SNAT，便于更灵活的管控。
到新的云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。 数据安全和权限管理：
据层。子网之间使用网络ACL进行访问控制，还可以将云主机、RDS等资源放入到安全组，通过安全组规则进行实例级别的访问控制。业务系统的应用服务器集群可以跨可用区部署，实现应用层的高可用；再使用华为云跨可用区的主备数据库集群和缓存集群实现数据层的高可用。如下图所示： 图3 业务账号内的网络规划：一个业务系统对应一个子账号
大数据迁移流程每个阶段概述如下： 调研：调研大数据平台的版本和配置信息、数量类型和数据量、任务类型和任务量。 设计：设计大数据的部署架构、数据迁移方案、任务迁移方案和数据校验方案。 部署：部署大数据平台，包括集群部署和任务调度平台部署。 迁移：实施数据迁移和任务迁移。 验证：进行数据校验和任务验证。
们建议使用CI/CD流水线构建自动化平台，然后在云上重新部署应用。 SMS工具迁移：是一种P2V/V2V迁移服务，可以帮您把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器上，从而帮助您轻松地把服务器上的应用和数据迁移到华为云，主机迁移服务工作原理如下图所示：
源端策略配置目标端ELB负载均衡策略，具体部署流程，请参照华为云弹性负载服务ELB。 迁移到ECS上部署的软件负载均衡：如果源端是服务器上自建的负载均衡，迁移到华为云上仍然采用ECS自建负载均衡的场景，也可以使用SMS工具迁移。 VPN VPN需要在目标端华为云重新部署，具体部署流程请参照华为云虚拟专用网络VPN。
可用性和安全性。设置警报机制，及时发现并解决潜在的问题。 系统监控和运维：设置系统监控和告警，确保及时发现和解决潜在的问题。配置基础设施监控工具，监测服务器、存储、网络等关键指标，并确保日志记录和错误报警机制正常运行。 安全检查和漏洞修复：进行安全检查，查找可能存在的漏洞或弱点，
方法请参考前面的数据迁移部分的内容。 根据云上大数据资源配置，修改源代码，例如版本、依赖库、数据库连接串，以及本地开发环境的库依赖配置等。 编译源代码，生成云上环境可执行的Jar包。 上传Jar包，并在任务调度平台部署和配置Jar包。 执行调度任务，并根据日志检查任务执行状态和结果。
全性和权限控制，高可用性和容错机制，扩展性和弹性等。 调研大数据集群数量和功能划分：例如Hadoop集群、Spark集群、Hive集群等，并根据业务需求划分它们的功能，如存储集群、计算集群、查询集群等。 调研各个集群或组件负责的业务范围，以及它们处理的数据类型和数据流转的方式。
提升灵活性和可维护性。 无服务器计算：云平台提供的无服务器计算服务（如 FunctionGraph）允许用户将代码部署到云端，而无需管理服务器。云平台会根据请求自动分配计算资源，并在请求处理完成后释放资源。这种模式极大地简化了扩展性管理。 提升安全性 安全性是指保护数据和应用系统
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
