检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据
）建议实现端到端的双AZ部署，如下图所示。 图1 双AZ高可用设计 设计要点： 业务模块：集群部署的业务，资源分别部署到 2 个AZ内，并通过 ELB 实现双AZ的负载均衡；单点业务ECS可通过 SDRS 作AZ级容灾。 云服务高可用：主备节点分别双AZ部署。 数据库同步：云上使
基于AI向量的多条件检索、统计、报表。Elasticsearch是一个搜索引擎，可以实现单机和集群部署，并提供托管的分布式搜索引擎服务。在ELK整个生态中，Elasticsearch集群支持结构化、非结构化文本的多条件检索、统计、报表。详细信息请参考官网文档。 数据仓库GaussDB（DWS）
大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、H
设施(例如虚拟机规格信息，CPU，内存利用率性能数据，网络拓扑数据等)，并提供其迁移到华为云的推荐配置以及主机的一站式迁移能力。 主机迁移服务（SMS）：是一种P2V/V2V迁移服务，可以把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器云主机上，具体使用方法请查看SMS帮助文档。
华为云提供的计算服务主要是ECS（Elastic Cloud Server）服务和CCE（Cloud Container Engine）服务，华为云提供了很多ECS的实例类型，如下表所示，以满足多样化的计算场景需求。关于上述ECS实例类型的详细信息，请查看实例类型。 表1 ECS实例类型 架构
云上云下子网网段重叠或因管理原因不允许直接打通两端子网段的路由，但业务需要互访，用私网NAT网关。 需要在云上自建高可用双机系统，建议两台ECS位于同一子网、跨可用区部署，绑定虚拟IP结合keep-alive实现。 跨境业务需要提升指定区域用户范围跨境资源的体验时，选择云连接CC
承载的资源主要有： 虚拟机：在云上，虚拟机又叫做弹性云服务器（Elastic Cloud Server，ECS），是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后，可以像使用自己的本地PC或物理服务器一样，在云上使用弹性云服务器。 容器：容器虚拟化技
设计要点： 用户接入采用多线路动态BGP，实现公网访问线路的自动容错，可靠性高； 华为云ELB采用集群跨可用区高可靠部署，单数据中心机房故障对业务无影响； 应用接入层采用跨可用区集群部署，单可用区的故障不会影响到全局业务； 业务容器POD多副本均衡的跨AZ部署，通过华为云CCE容
API接口，批量发放云资源，每个云服务都有对应的API接口，可以进行资源的生命周期管理。详情请见对应服务的帮助文档。例如，利用API创建云服务器，请参考这个链接。 使用华为云提供的应用编排服务RFS，对资源进行编排和批量发放，具体操作方法，请参考RFS的官网文档。 上述三种资源开
SMS工具迁移：是一种P2V/V2V迁移服务，可以帮您把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器上，从而帮助您轻松地把服务器上的应用和数据迁移到华为云，主机迁移服务工作原理如下图所示： 图1 SMS迁移过程 主机迁移服务的安全传输原理指的是：源端服务器中的迁移Agent从主机迁移服务
Hadoop数据迁移到华为云MRS服务 如图所示，将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务。HBase会把数据存储
据层。子网之间使用网络ACL进行访问控制，还可以将云主机、RDS等资源放入到安全组，通过安全组规则进行实例级别的访问控制。业务系统的应用服务器集群可以跨可用区部署，实现应用层的高可用；再使用华为云跨可用区的主备数据库集群和缓存集群实现数据层的高可用。如下图所示： 图3 业务账号内的网络规划：一个业务系统对应一个子账号
公共服务管理 首先您要识别出各个业务单元所需要的公共IT服务和资源，比如NTP服务器、SFS文件存储、自建DNS服务器、OBS桶、虚拟机镜像、证书等，也可以是CodeArts等PaaS服务。然后集中部署和维护这些公共IT服务，将其共享给公司内所有业务单元。华为云提供了三种资源共享的方式。
、Live等团队共享使用的云资源成本，按照实际用量分摊到域名或IP。 容器集群成本拆分：华为云提供CCE成本洞察，开通后可将CCE集群相关的CCE集群管理费、CCE集群关联的ECS和EVS资源费用拆分到集群、命名空间和工作负载。 多维度分类和汇总：使用成本单元，综合多种条件（产品
持列表内 适用于所有源端为x86架构的物理机或虚拟机迁移，有增量数据 华为云ECS重新部署 NA 1.不依赖网络传输 2.相比工具迁移工作量较大 所有 镜像导出导入 全量 1.不依赖网络传输 2.停机时间较长，需要源端物理机或虚拟机停机后，制作完整镜像 停机窗口较长的场景 （停机窗口至少4小时以上才建议考虑此方案）
到新的云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。 数据安全和权限管理：
大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储、计算和管
全性和权限控制，高可用性和容错机制，扩展性和弹性等。 调研大数据集群数量和功能划分：例如Hadoop集群、Spark集群、Hive集群等，并根据业务需求划分它们的功能，如存储集群、计算集群、查询集群等。 调研各个集群或组件负责的业务范围，以及它们处理的数据类型和数据流转的方式。
MRS大数据集群的弹性IP、虚拟网络防火墙等策略配置；（2）配置访问控制策略，如弹性IP绑定的端口仅对信任的网络或主机开放，避免大数据集群直接暴露在互联网；（3）负责大数据集群的用户管理、大数据组件的安全配置，并且妥当保管相关的账户凭证；（4）以及对其部署在大数据集群上的应用进行安全管理。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
