检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据治理中心（DataArts Studio） DataArts Studio支持对接所有华为云的数据湖与数据库云服务作为数据湖底座，例如MRS Hive、数据仓库服务DWS等，也支持对接企业传统数据仓库，例如Oracle、MySQL等。详细信息请参考官网文档。 数据接入服务（Data Ingestion
据治理。 选择合适的数据存储方案，例如关系型数据库、NoSQL数据库、数据仓库等。 确保数据的质量、安全性和合规性。 与应用架构师和云架构师紧密合作，确保数据架构与整体架构的兼容性。 深入理解数据建模、数据仓库、数据湖、数据治理等概念和技术。 熟悉各种数据库技术，包括关系型数据库和NoSQL数据库。
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据
数据调研 数据调研主要包括如下方面： 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量，用于评估历史数据迁移周期； 日增量数据，用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平
数据验证 数据验证标准 迁移完成后，需要对源端和目的端数据做一致性比对，对于数据一致性比对的精度，不同的场景有不同的要求。一般来说，核心业务的数据库表要求源端和目的端100%一致；对于大数据类业务中的部分场景，例如用户画像计算等，可以约定原始数据90%一致。如下是一个参考标准，可根据实际情况调整：
大数据 大数据是指规模庞大且复杂的数据集合，对于企业来说，如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面： 数据驱动决策：大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力，为决策提供支持。通过对历史数据和实时数
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施
大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估
大数据参考架构 下图是典型的大数据架构，从数据集成、存储、计算、调度、查询和应用，构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是
码、脚本和配置文件等。迁移工具和方法根据具体需求选择，例如使用离线数据传输工具、大数据迁移工具CDM等。 数据源接入 将目标大数据集群接入与原大数据集群相同的数据源。这确保了源数据的一致性。可以使用数据同步工具、ETL工具或自定义脚本等方式实现数据源的连接和数据同步。离线计算任务
创建用户和角色 根据源端平台的权限设置，创建相应的用户和角色。确保在目标平台上设置与源端平台一致的用户身份和角色分配。 调整权限级别和范围 在目标平台上，根据源端平台的权限设置，调整权限级别和范围。确保目标平台上的权限设置与源端平台一致，并确保用户只能访问其应有的资源。 权限分配和继承 在目标
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息： 大数据平台调研，包括大数据集群、任务调度平台、数据流向。 数据调研，包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
切换 大数据的切换主要是指大数据应用的切换，其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点，以便更好的指导大数据应用的切换。 双跑场景：大数据应用分别在源环境和目标环境各部署一套，实现双跑，切换点在域名，业务切换时只需要进行域名的切换，将业务流量切换到新应用。
迁移 数据迁移 Hadoop数据迁移到华为云MRS服务 如图所示，将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中
任务调研 任务调研主要包括如下方面： 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler，Hera、Crontab等。 任务类型 基于编程语言分类： Jar类：常用于MRS、Flink、Spark等 SQL类： 常用于Hive、Spark、UDF等
保障 在大数据迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
