检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息： 大数据平台调研，包括大数据集群、任务调度平台、数据流向。 数据调研，包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
任务调研 任务调研主要包括如下方面： 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler，Hera、Crontab等。 任务类型 基于编程语言分类： Jar类：常用于MRS、Flink、Spark等 SQL类： 常用于Hive、Spark、UDF等
基础环境设计 企业在云上的基础环境主要就是Landing Zone，企业在将任何业务系统云化之前，都需要提前规划和设计一个架构卓越、稳定可靠、易扩展和安全合规的云上运行环境。 具体内容请参考章节 Landing Zone设计。 企业需要针对云环境的安全防护设计全面的安全防护方案，请参考章节安全架构设计。
导和资源，帮助企业最大化云计算的价值，确保云化转型项目的成功实施。CCoE就像云化转型的引擎，如果CCoE团队成员不够完善，就像引擎缺少关键零件，无法高效运转，甚至可能导致转型失败。这种反模式的具体例子如下： 缺乏云架构师: 缺失专业的云架构师会导致云化转型如同无舵之舟。架构设计
概述 为什么要做批次规划 上云迁移批次规划是为了把上云迁移分成几个阶段，以便更加有效地迁移企业应用到云端。批次规划的目的是为了将上云迁移的复杂性减少到最低，以便更有效地安排上云迁移的时间，统筹资源，并分析各个迁移阶段的风险，让企业在最短的时间内完成上云迁移。 批次规划是企业上云迁
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
调研评估的反模式 在进行上云调研评估时，可能会遇到一些反模式，这些模式如果不加以识别和避免，可能会影响调研评估的效率，也可能会导致调研评估结果不准确，无法支撑有效决策和后续的上云方案设计。以下是一些在上云调研评估中常见的反模式。 没有选择正确的调研方法 调研开始阶段，直接发各种复
架构现状和上云需求，有针对性地进行规划和决策。通过评估资源使用情况、组网配置、安全架构等方面的数据，企业可以制定合适的云迁移策略，优化资源配置，提高运维效率，并确保访问权限的管控和资源计量计费的准确性。 总而言之，基础环境调研是为了深入了解企业的IT基础架构现状和上云需求，通过与
参考章节制定云化目标 。 量化业务收益：基于前面制定的云化目标，对其进行收益分析，将其转换为财务收益，以便进行项目ROI评估，为管理层的战略决策提供依据，请参考章节分析云化收益 。 持续跟踪和评估业务收益： 定期评估云化转型的业务收益，并根据实际情况调整云化目标。 云化战略缺乏与干系人的对齐
通过识别和避免这些反模式，并参考行业最佳实践和成功案例，可以更加科学实施上云方案，提高上云和用云的效率，更好地利用云平台的优势，发挥云技术的价值。 父主题： 采用实施
数据调研 数据调研主要包括如下方面： 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量，用于评估历史数据迁移周期； 日增量数据，用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
可扩展性设计，性能设计要考虑很重要的一点就是扩展性，可以说可扩展性是高性能的必要条件， 影响云上应用性能的主要因素包括以下几个方面： 针对计算资源，延时是操作执行之间所花的等待时间，也是云计算性能的最直接表现； 针对网络资源，吞吐量是评价数据处理执行的速率； 在数据传输方面，用字
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
