检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估
云上可扩展性 云相较于传统IDC非常大的一个优势具备丰富的资源和强大的扩展能力；根据业务场景的不同需求，可以将扩展能力分成如下3类： 纵向（垂直）扩展：适用于单体应用、独立应用、有状态应用等场景下，随着业务不断发展和变化，需要快速升级硬件以应对业务变化。如在进行一些促销活动时，对
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施
可用性定义 可用性(Availability)是产品/服务在规定的条件下和规定的时刻或时间区间内处于可执行规定功能状态的能力，是产品可靠性和可维护性的综合反映。服务可用性一般会用SLA（Service-Level Agreement）来衡量，各类云服务都有承诺的SLA标准。不同SLA级别对应的停机时间如下表所示：
TB 数据分层 调研数据分层主要用于迁移优先级和数据校验标准。 数据接入层、中间层、结果层 数据权限 根据源端数据权限控制组件的不同，选择不同的权限数据迁移方式 Sentry、Ranger等 数据重要性 调研数据重要性的目的是区分核心数据和非核心数据，用于迁移优先级和数据校验标准。
对于业务连续性要求较高的业务，可以考虑两地三中心的高可用性方案，如下图所示。 提供最高程度的业务连续性和数据可用性，在超大规模地域级自然灾害的时候都能保护数据和业务。 RPO 时间取决于数据库复制间隔； 由于容灾站点一直运行，RTO 依赖容灾切换时间，通常取决于 DNS 缓存刷新时间，一般为分钟级，如果采用
部署 大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hado
康威定律：按照康威定律，系统的技术架构反映了所属组织的架构。Landing Zone的组织单元和账号架构应该与企业的组织架构和业务架构保持一致，推荐按照企业的业务架构、地理架构和IT职能规划Landing Zone的组织单元和账号体系。 相关性原则：不需要把企业内部的完整组织架构映射到华为云上，只
大数据架构设计：大数据的部署架构设计包括大数据集群部署架构设计、大数据任务调度平台部署架构设计和大数据应用部署架构设计，其中大数据应用的部署架构可以参考应用部署架构的设计方法。大数据架构设计同样要考虑架构设计的6要素。 在做云上架构设计时，企业可以参考TOGAF的架构设计方法
起点。 CXO（包含CEO、CIO、CTO、COO、CFO等） 业务主管 IT主管、技术主管 财务专家 人力资源主管 云架构师、应用架构师、数据架构师、网络架构师 IT治理专家 运维主管、IT运维专家 CISO、安全专家、合规审计专家 应用开发专家、应用测试专家 应用运维专家 迁移实施工程师
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
基于调研结果，企业可以更好地了解自身的IT基础架构现状和上云需求，有针对性地进行规划和决策。通过评估资源使用情况、组网配置、安全架构等方面的数据，企业可以制定合适的云迁移策略，优化资源配置，提高运维效率，并确保访问权限的管控和资源计量计费的准确性。 总而言之，基础环境调研是为了深入了解企业的IT基础架构现状和上云需
aaS、SaaS），基于四架构六要素设计云上目标架构，确保技术选型合理、资源配置最优，并为各项技术决策提供咨询。 数据架构师：由IT主管指派，来自IT部门的大数据团队，负责设计企业在云上的数据架构，包括数据存储、数据处理、数据集成和数据治理。 应用架构师：由业务主管指派，来自业务
抽样内容对比。 数据验证方法 数据分为数据库数据、中间件数据和文件数据，这三种数据的一致性验证方法和工具不同： 数据库数据一致性验证的方法如下表所示。 表2 数据库一致性对比方式 对比项 工具 描述 库和表级内容对比 DRS工具 查询对比数据库表的每一条数据，确保每一条的每一个
调研数据流： 调研大数据平台及业务的架构图及数据流图，如下图： 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式（如：实时数据上报、批量数据抽取）。 分析大数据平台数据流向，数据在平台内各个组件间的流向，例如：数据采集组件类型、采集组件下一层、存储数据组件，数据处理过程中的工作流等。
数据层迁移方案 数据层主要负责业务数据的持久化，为上层业务逻辑的实现提供数据支持，数据层包括两类数据，结构化数据和非结构化数据。结构化数据包含各类数据库，例如MySQL数据库、MongoDB数据库等，非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据，主要
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储
场景，用于数据库在线迁移和数据库实时同步的云服务。DRS服务是一种易用、稳定、高效，用于数据库平滑迁移和数据库持续同步的云服务。DRS围绕云数据库，降低了数据库之间数据流通的复杂性，有效的减少数据传输的成本。数据复制服务支持多种数据源之间的数据流通，实时迁移、备份迁移、实时同步、
止的风险。 数据库切换时需要考虑数据一致性问题，要想切换前后数据一致，必须源端的数据先静止，然后断开增量同步任务，数据一致性对比方案需详细规划，是做行数对比还是做内容对比，不同对比方式对比时长不同，需根据表的重要性和切换时长综合考虑来确定数据一致性对比方案。 源端数据静止，除了停
推数场景：适用于数据源主动向应用推数的场景，切换点在数据源，需要停止旧数据源推数，配置并启动新数据源向应用推数，将应用的数据源从旧数据源切换到新数据源。 图2 推数场景 抽数场景：适用于应用向数据源抽数的场景，切换点在应用，需要先停止应用向旧数据源抽数，然后配置并启动应用从新数据源抽数，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
