检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
的资源主要有： 虚拟机：在云上，虚拟机又叫做弹性云服务器（Elastic Cloud Server，ECS），是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后，可以像使用自己的本地PC或物理服务器一样，在云上使用弹性云服务器。 容器：容器虚拟化技术已
设置警报机制，及时发现并解决潜在的问题。 系统监控和运维：设置系统监控和告警，确保及时发现和解决潜在的问题。配置基础设施监控工具，监测服务器、存储、网络等关键指标，并确保日志记录和错误报警机制正常运行。 安全检查和漏洞修复：进行安全检查，查找可能存在的漏洞或弱点，并采取适当的补
题 是 否 数据库检查项 数据库相关 检查华为云数据库端口是否和生产保持一致 是 否 数据库相关 检查NTP时钟设置是否一致 是 否 数据库相关 检查中间件Reids数据迁移任务状态正常，无异常报错或告警（包含回退任务） 是 否 数据库相关 检查DRS-mysql数据迁移任务状态
档。 数据安全中心 数据安全中心服务（Data Security Center，DSC）是新一代的云化数据安全平台，提 供数据分级分类、数据安全风险识别、数据水印溯源和数据静态脱敏等基础数据安全能力。DSC通过数据安全总览整合数据安全生命周期各阶段状态，对外呈现整体云上数据安全态
为云SMS工具将源端调度平台迁移到华为云ECS。 大数据应用部署 大数据应用的部署有2种方法，可以基于华为云ECS重新部署大数据应用，或者是使用华为云SMS工具将大数据应用迁移到华为云ECS。 平台权限配置 平台权限配置 在部署好目标大数据平台后，为了确保正确的权限设置，可以参考
IT部门 数据库管理员 负责云上数据库的部署、配置、监控和维护。 确保数据库的高可用性和数据安全，定期进行备份和恢复演练。 优化数据库性能，解决查询慢、锁等待等问题。 管理数据库的权限和访问控制，确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库（如MySQL、PostgreSQL等）的管理。
图1 大数据的数据迁移顺序 元数据迁移 首先，进行元数据的迁移。元数据是描述数据的数据，包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段，需要将原始数据的元数据信息导出，并在目标系统中重新建立或导入元数据，以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
性和可维护性。 无服务器计算：云平台提供的无服务器计算服务（如 FunctionGraph）允许用户将代码部署到云端，而无需管理服务器。云平台会根据请求自动分配计算资源，并在请求处理完成后释放资源。这种模式极大地简化了扩展性管理。 提升安全性 安全性是指保护数据和应用系统免受未经
对于大多数应用系统来说，整个系统的瓶颈往往在数据库。因为应用的其他组件，例如网络带宽、负载均衡、应用服务器、中间件等比较容易实现水平扩展，但对于数据库，由于数据一致性要求高，多数业务系统仍然采用数据库主备方式实现，未实现数据库的分布式架构。 常用的数据库相关指标有： TPS/QPS：每秒处理
进一个迁移分组，迁移的时候要放同一批次，切换的时候要一起切。 依赖关系主要包括三种：共享数据依赖、共享服务器依赖、应用间的通信依赖。 依赖关系还有强弱之分：以共享数据依赖举例：应用程序A、B 和 C 都连接到db01，A 和B 每秒都会进行许多读写操作，但是C每晚在非高峰时间运行
工具，将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移服务（CDM）可以轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。详细操作指导请参考官网文档。 MRS HDFS数据迁移到OBS CDM支持将MRS HDFS的数据迁移到OBS，详细操作指导请参考官网文档。
用与弹性，降低运维成本，把开发运维人员从重复繁琐的资源调配中解放出来，投入到有益于业务发展的工作。 架构设计现代化，解耦可复用功能与业务逻辑。通过改造应用架构，使用微服务架构、Serverless（无服务器）架构等技术，将应用拆分为能独立快速发布的不同模块，使开发运维人员能聚焦于应用和创新工作。
nresty服务运行的服务器迁移到华为云，并修改对应的转发策略。 方案2：在华为云ECS服务上重新部署nginx或openresty，然后拷贝源端配置文件到目的端，并修改配置文件的转发策略。 负载均衡器 提供4层或7层流量转发 将源端的负载均衡策略重新配置到华为ELB Kong/Zuul网关等
移需求。 Rehost 也称为“直接迁移”或“Lift and Shift”，将应用程序原封不动地从本地数据中心迁移到云平台。通常使用工具将虚拟机或物理服务器转换为云中的虚拟机。 快速迁移到云平台，以降低成本或提高可用性。 需要快速完成迁移，时间紧迫。 缺乏应用程序的深入了解或修改代码的资源。
网：应用子网和数据子网，分别对应业务系统的应用层和数据层。子网之间使用网络ACL进行访问控制，还可以将云主机、RDS等资源放入到安全组，通过安全组规则进行实例级别的访问控制。业务系统的应用服务器集群可以跨可用区部署，实现应用层的高可用；再使用华为云跨可用区的主备数据库集群和缓存集群实现数据层的高可用。如下图所示：
风险。为了帮助客户提高云环境的安全防护能力，华为云为客户提供了华为云安全配置基线指南。该指南包括身份与访问管理、日志与监控、虚拟机与容器、网络、存储、数据库、企业智能等方面的安全配置，但并不是所有可能的安全配置的详尽列表。建议您将该指南作为一个起点，并根据实际需要在此基础上进行补充或裁剪。
进行安全管理。 再以数据库服务为例，租户应负责：数据库引擎的生命周期管理及数据库安全管理，包括（1）缺省使用最新的实例版本、及时根据官网提示和漏洞通告升级版本等；（2）梳理资产分类及制定数据库实例防护策略，如数据库主备及集群设计、数据灾备及恢复策略、VPC及安全组配置、互联网访问
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
