检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户。 全球化部署：云服务商在全球范围内拥有云数据中心，企业可以快速在目标市场部署业务，降低进入新市场的技术和时间门槛。 本地化服务：云平台提供本地化语言支持，并且提供符合当地法规的服务，帮助企业快速适应当地市场需求。 降低进入成本：无需在当地建设数据中心或采购硬件设备，减轻了初始投资压力，降低了市场进入成本。
开发、安全与运维 DEW Data Encryption Workshop 数据库安全服务 DSC Data Security Center 数据安全中心 ECS Elastic Cloud Server 弹性云服务器 EIP Elastic IP Address 弹性公网IP ELB Elastic
前提：Jar类任务调试依赖的数据已完成迁移，迁移方法请参考前面的数据迁移部分的内容。 根据云上大数据资源配置，修改源代码，例如版本、依赖库、数据库连接串，以及本地开发环境的库依赖配置等。 编译源代码，生成云上环境可执行的Jar包。 上传Jar包，并在任务调度平台部署和配置Jar包。 执行调
图1 大数据的数据迁移顺序 元数据迁移 首先，进行元数据的迁移。元数据是描述数据的数据，包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段，需要将原始数据的元数据信息导出，并在目标系统中重新建立或导入元数据，以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
所示。应用系统的部署依赖硬件资源，但硬件采购和发货周期比较长，所以在应用系统立项之后就需要开始着手硬件设备和基础软件的采购，硬件到货后再将这些硬件部署到自建数据中心或者租赁的IDC机房，然后在这些硬件设备上再安装和配置操作系统和虚拟化软件等基础软件，基于这些硬件搭建应用系统所需的
的运维团队合作，收集与基础环境相关的数据和信息。 一种常见的调研方式是通过企业内部的IT系统导出信息，例如配置管理数据库（CMDB）、云管理平台（CMP）、虚拟化管理软件等。这些系统可以提供有关硬件设备、网络拓扑、操作系统、应用程序以及相关配置和版本的信息，帮助调研人员了解企业的IT基础架构。
确保数据库的高可用性和数据安全，定期进行备份和恢复演练。 优化数据库性能，解决查询慢、锁等待等问题。 管理数据库的权限和访问控制，确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库（如MySQL、PostgreSQL等）的管理。 掌握数据库性能优化技术（如索引优化、分库分表）。
纵向（垂直）扩展：适用于单体应用、独立应用、有状态应用等场景下，随着业务不断发展和变化，需要快速升级硬件以应对业务变化。如在进行一些促销活动时，对资源的需求往往比正常要高出多倍，这时企业在云上就可以通过可视化界面或者 OpenAPI 快速升级资源的配置，将资源调整到更高规格的实例上（如更多的 CPU、内存、带宽、磁
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
类及制定数据库实例防护策略，如数据库主备及集群设计、数据灾备及恢复策略、VPC及安全组配置、互联网访问配置、访问通道加密配置、数据库认证和鉴权配置、数据库审计配置以及其他安全配置。 无论使用哪一项华为云服务，租户始终是其数据的所有者和控制者。租户负责各项具体的数据安全配置，对其保
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息： 大数据平台调研，包括大数据集群、任务调度平台、数据流向。 数据调研，包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
推数场景：适用于数据源主动向应用推数的场景，切换点在数据源，需要停止旧数据源推数，配置并启动新数据源向应用推数，将应用的数据源从旧数据源切换到新数据源。 图2 推数场景 抽数场景：适用于应用向数据源抽数的场景，切换点在应用，需要先停止应用向旧数据源抽数，然后配置并启动应用从新数据源抽数，
中间件层迁移实施 Redis迁移 Redis服务一般分为两种大的场景：缓存和数据库存储。在缓存时，一般不用进行迁移数据，大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景，其中在web场景下的缓存session时，也可以不用迁移
应用子网和数据子网，分别对应业务系统的应用层和数据层。子网之间使用网络ACL进行访问控制，还可以将云主机、RDS等资源放入到安全组，通过安全组规则进行实例级别的访问控制。业务系统的应用服务器集群可以跨可用区部署，实现应用层的高可用；再使用华为云跨可用区的主备数据库集群和缓存集群实现数据层的高可用。如下图所示：
中间件、数据层）建议实现端到端的双AZ部署，如下图所示。 图1 双AZ高可用设计 设计要点： 业务模块：集群部署的业务，资源分别部署到 2 个AZ内，并通过 ELB 实现双AZ的负载均衡；单点业务ECS可通过 SDRS 作AZ级容灾。 云服务高可用：主备节点分别双AZ部署。 数据
进一个迁移分组，迁移的时候要放同一批次，切换的时候要一起切。 依赖关系主要包括三种：共享数据依赖、共享服务器依赖、应用间的通信依赖。 依赖关系还有强弱之分：以共享数据依赖举例：应用程序A、B 和 C 都连接到db01，A 和B 每秒都会进行许多读写操作，但是C每晚在非高峰时间运行
些云服务可以部署和运行任意软件，其中可能包括操作系统、数据库、中间件和应用程序。用户不控制底层云基础设施，但可以控制操作系统、存储、部署的应用程序以及可能的有限的网络组件（例如主机防火墙）。 PaaS PaaS 将DevOps工具链、中间件、数据库、微服务引擎、大数据等平台资源以
如NTP服务器、AD服务器、自建DNS服务器、OBS桶、容器镜像库等，也可以是CodeArts等PaaS服务。 负责集中部署和维护这些公共IT服务，并将其共享给公司内所有业务单元使用。 保障公共IT服务的安全稳定运行。 熟悉主流云平台的IaaS和PaaS服务，并能熟练部署这些服务。
新功能需求绑定大版本上线，需求交付周期长（年/月级） 快速迭代上线，交付周期缩短（周/天级） 团队规模大，传统开发模式 团队拆小，DevSecOps敏捷运作 物理服务器 容器化部署、全面上云 应用现代化不只是采用云原生技术（如容器、微服务、DevOps、API网关等），还包括新技术（如AI、数字人、IoT、区块
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
