检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件，部署架构设计时，可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据集群组件，但
云原生安全服务 华为云提供了丰富的云原生安全服务，这些云原生安全云服务与华为的云平台深度集成，在性能、弹性、便利性上有较好的优势，同时，云服务商的安全运营经验也会持续推动云原生安全服务的能力提升，建议企业优先选择云原生安全服务。 数据加密服务 数据加密服务（Data Encryption
PaaS 将DevOps工具链、中间件、数据库、微服务引擎、大数据等平台资源以云服务的形式提供给用户，用户基于这些云服务可以开发、测试、部署和运维应用程序。用户不管理或控制底层云基础设施和中间件、数据库、微服务引擎等平台资源，但可以控制已部署的应用程序及其相关的数据。 SaaS SaaS
多个独立的云平台上，实现跨云容灾，避免单一云平台故障带来的业务中断。即使一个云平台出现问题，其他云平台上的业务仍然可以正常运行，保障业务连续性。 避免厂商锁定：将所有业务都放在一个云服务商的云平台里会造成厂商锁定，使企业在未来的谈判中处于劣势，并且难以迁移到其他平台。多云战略可以
将各个应用系统和大数据平台迁移或直接部署到云上，或者基于云平台进行应用现代化改造，也可以基于云平台提供的各种创新技术直接在云上进行应用和业务创新。 运维治理：将应用系统迁移或部署到云上之后就进入了运维治理阶段，在该阶段需要针对云基础设施、应用系统和大数据平台进行持续的精益化治理、
服务，通过调用源端对象存储的SDK，可快速传输数据并对数据进行加密存储，将数据复制到华为云OBS，可以帮助把对象存储数据从其他云服务商对象存储服务中的数据轻松、平滑地迁移到华为云。通过第一次全量任务，将源端对象存储全量数据迁移至华为云OBS，业务切换时，在华为云配置回源规则，将部
Zone的组织单元和账号体系。 相关性原则：不需要把企业内部的完整组织架构映射到华为云上，只把那些负责管理IT系统的组织单元（如部门、分公司）和使用IT资源的用户映射到华为云上。如行政部门不管理、不查看、不操作任何云上IT资源，就不需要在华为云上创建一个对应行政部门的组织单元；如财务小张不负责IT系统
方式，将实时数据上报到双跑的两个平台。 双平台同时运行 目标大数据集群、任务调度平台与原大数据集群、任务调度平台同时运行一段时间。在这段时间内，两个平台会并行处理任务，并产生相应的结果。 运行稳定性验证 在双平台同时运行期间，需要对目标大数据平台任务执行的稳定性、数据一致性进行持
安全性和可靠性等测试。 编写和维护自动化测试脚本。 编写测试报告和文档。 有扎实的测试理论基础，熟悉软件测试理论、方法和流程等。 具备丰富的测试经验，熟悉各种测试类型，如功能测试、性能测试、安全测试和可靠性测试等。 熟悉主流的云平台及云服务。 熟练使用自动化测试工具，能够编写自动化测试脚本。
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
修改应用间访问的内部域名-》华为云上应用实例 7.1 修改目的端redis的内网域名-》华为云实例IP 7.1 修改目的端的MySQL的内网域名-》华为云实例IP 7.1 修改目的端MongoDB的内网域名-》华为云实例IP 7.1 修改目的端消息队列MQ的内网域名-》华为云实例IP 7.1
日志账号是集中存放审计日志和运行日志的地方，主要使用了华为云的CTS服务、LTS服务和OBS服务，该三个服务没有租户面IP地址，所以不需要考虑与其他账号的VPC进行互通。沙箱账号是一个允许客户任意测试华为云资源和控制策略的地方，包括VPC的功能测试以及与其他账号之间连通性测试，所以也不需要预先在ER中配置与其他账号的连通性。
日刷新/周刷新/月刷新/实时更新 任务执行区间 让数据迁移、数据校验和业务高峰期错开。 离线任务上班前和下班后执行 调研的方法主要是通过当前大数据平台获取，并辅助一些调研访谈进行补充和确认。 父主题： 大数据调研
SMS工具迁移：是一种P2V/V2V迁移服务，可以帮您把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器上，从而帮助您轻松地把服务器上的应用和数据迁移到华为云，主机迁移服务工作原理如下图所示： 图1 SMS迁移过程 主机迁移服务的安全传输原理指的是：源端服务器中的迁移Agent从主机迁移服
实施集成：根据集成方案，开始实施集成。使用Roma Connect提供的工具和平台，配置和设置必要的集成组件和连接器。确保正确地配置数据映射、消息路由和安全认证等关键参数。 测试和验证：在将集成应用投入生产之前，进行全面的测试和验证。确保新旧应用之间的数据传递和功能调用正常工作，并且没有任何破坏或冲突发生。
保障 在上云迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 云平台监控：确保建立有效的监控系统，跟踪云平台的性能、可用性和安全性。设置警报机制，及时发现并解决潜在的问题。 系统监控和运维：设置系统监控和告警，确保及时发现和解决潜在的问题。配置基础设施监控工具，监测服
任务数量 调研各类任务的总数量，用于评估任务迁移周期及改造工作量。如：XX调度平台下，Jar任务XX个。 任务更新周期 识别出不同调度平台，不同任务类型的任务更新周期。如：XX调度平台XX类任务月度更新；XX平台XX类型任务每日XX点更新。 任务详细信息 识别出所有任务的详细信息，包括
分布式架构：云平台支持分布式系统架构设计，允许应用程序在多个服务器或节点上运行，分散负载，避免单点故障，提高系统的扩展性和可用性。 自动弹性伸缩：利用云平台的自动化伸缩功能，系统可以根据预设的策略自动增加资源实例，以应对流量高峰，保持性能稳定。 微服务架构：云平台天然适合微服务和
可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是传感器、网站日志、移动应用、社交媒体等各种数据源。通过数据采集和提取，将原始数据收集到大数据平台进行后续处理和分析。 数据集成： 数据集成是将来自不同数据源的数据进行整合和转换
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
