检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
简称CDM），是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。详细信息请参考官网文档。 数据快递服务（Data Express
计算服务选型 华为云提供的计算服务主要是ECS（Elastic Cloud Server）服务和CCE（Cloud Container Engine）服务，华为云提供了很多ECS的实例类型，如下表所示，以满足多样化的计算场景需求。关于上述ECS实例类型的详细信息，请查看实例类型。
大数据 大数据是指规模庞大且复杂的数据集合，对于企业来说，如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面： 数据驱动决策：大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力，为决策提供支持。通过对历史数据和实时数
、社交媒体等各种数据源。通过数据采集和提取，将原始数据收集到大数据平台进行后续处理和分析。 数据集成： 数据集成是将来自不同数据源的数据进行整合和转换的过程。这包括数据清洗、数据预处理、数据格式转换、数据合并等操作，以确保数据的一致性和准确性。 数据存储： 大数据平台需要具备高效
大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估
冗余节点和故障转移机制来实现，以确保在硬件或软件故障情况下的数据和任务的持久性。 数据安全和合规性：在云上部署的大数据集群需要有严格的数据安全和合规性保障。采用适当的数据加密、身份验证、访问控制和数据隔离措施，以保护敏感数据免受潜在的安全威胁。 成本效益：在云上部署大数据集群时，
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平
TB 数据分层 调研数据分层主要用于迁移优先级和数据校验标准。 数据接入层、中间层、结果层 数据权限 根据源端数据权限控制组件的不同，选择不同的权限数据迁移方式 Sentry、Ranger等 数据重要性 调研数据重要性的目的是区分核心数据和非核心数据，用于迁移优先级和数据校验标准。
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
调研：调研大数据平台的版本和配置信息、数量类型和数据量、任务类型和任务量。 设计：设计大数据的部署架构、数据迁移方案、任务迁移方案和数据校验方案。 部署：部署大数据平台，包括集群部署和任务调度平台部署。 迁移：实施数据迁移和任务迁移。 验证：进行数据校验和任务验证。 切换：配合大数据应用进行切换。 保
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息： 大数据平台调研，包括大数据集群、任务调度平台、数据流向。 数据调研，包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
数据层迁移方案 数据层主要负责业务数据的持久化，为上层业务逻辑的实现提供数据支持，数据层包括两类数据，结构化数据和非结构化数据。结构化数据包含各类数据库，例如MySQL数据库、MongoDB数据库等，非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据，主要
抽样内容对比。 数据验证方法 数据分为数据库数据、中间件数据和文件数据，这三种数据的一致性验证方法和工具不同： 数据库数据一致性验证的方法如下表所示。 表2 数据库一致性对比方式 对比项 工具 描述 库和表级内容对比 DRS工具 查询对比数据库表的每一条数据，确保每一条的每一个
概述 云计算从根本上改变了IT基础设施和应用系统的建设、运维和管理方式。传统模式下，组织通常需要购买、安装和运维自己的硬件和软件，包括服务器设备、存储设备、网络设备、虚拟化软件、操作系统、数据库管理软件和中间件等IT基础设施，资源部署周期长，运维负担重，初始投资大。 云计算模式下
整集群大小和资源分配，以提高整体性能。 数据安全和权限管理：审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏感数据，并采取适当的加密和脱敏措施保护数据安全。 自动化任务调度：确保大数据任务调度平台的运行和调度正常。优化调度策略，确保任务按时准确完成，并处理可能的故障或异常情况。
图1 大数据的数据迁移顺序 元数据迁移 首先，进行元数据的迁移。元数据是描述数据的数据，包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段，需要将原始数据的元数据信息导出，并在目标系统中重新建立或导入元数据，以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
推数场景：适用于数据源主动向应用推数的场景，切换点在数据源，需要停止旧数据源推数，配置并启动新数据源向应用推数，将应用的数据源从旧数据源切换到新数据源。 图2 推数场景 抽数场景：适用于应用向数据源抽数的场景，切换点在应用，需要先停止应用向旧数据源抽数，然后配置并启动应用从新数据源抽数，
大数据任务调度软件，或者是使用华为云SMS工具将源端调度平台迁移到华为云ECS。 大数据应用部署 大数据应用的部署有2种方法，可以基于华为云ECS重新部署大数据应用，或者是使用华为云SMS工具将大数据应用迁移到华为云ECS。 平台权限配置 平台权限配置 在部署好目标大数据平台后，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
