检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据验证方法 数据分为数据库数据、中间件数据和文件数据，这三种数据的一致性验证方法和工具不同： 数据库数据一致性验证的方法如下表所示。
数据调研 数据调研主要包括如下方面： 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量，用于评估历史数据迁移周期； 日增量数据，用于评估每日增量数据同步周期。
大数据 大数据是指规模庞大且复杂的数据集合，对于企业来说，如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面： 数据驱动决策：大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力，为决策提供支持。
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。
大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估
CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。详细信息请参考官网文档。
数据边界 华为云提供了全方位数据边界保护您的敏感数据，全方位数据边界基于身份控制策略、网络控制策略和资源控制策略构筑起一道坚固的数据安全屏障。确保只有经过严格验证的可信身份，在符合安全标准的可信网络环境中，方能获得对特定资源的访问权限，从而保障数据安全。
数据层迁移方案 数据层主要负责业务数据的持久化，为上层业务逻辑的实现提供数据支持，数据层包括两类数据，结构化数据和非结构化数据。结构化数据包含各类数据库，例如MySQL数据库、MongoDB数据库等，非结构化数据包含对象存储、各类文件存储等。
通过数据采集和提取，将原始数据收集到大数据平台进行后续处理和分析。 数据集成： 数据集成是将来自不同数据源的数据进行整合和转换的过程。这包括数据清洗、数据预处理、数据格式转换、数据合并等操作，以确保数据的一致性和准确性。
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。
线下DES磁盘拷贝 数据量较大，增量少的TB级数据 - OMS工具+回源迁移：对象存储迁移服务OMS作为易用、高效的线上数据迁移服务，通过调用源端对象存储的SDK，可快速传输数据并对数据进行加密存储，将数据复制到华为云OBS，可以帮助把对象存储数据从其他云服务商对象存储服务中的数据轻松
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
例如，可以允许某个用户对特定的桶进行读取操作，但禁止写入或删除。桶策略支持基于条件的访问控制，可以根据请求者的IP地址、请求时间等条件，灵活地控制访问权限。例如，企业可以设置桶策略，仅允许来自公司内部网络的请求访问桶，或者限制特定时间段的访问。
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息： 大数据平台调研，包括大数据集群、任务调度平台、数据流向。
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。
设计数据迁移方案 大数据的数据迁移涉及到3类数据，如下表： 表1 大数据迁移的三类数据 分类 说明 元数据 Hive元数据或外置元数据 存量数据 历史数据，短期内不会变化 增量数据 数据定期更新 这3类数据的迁移方法如下： 表2 大数据三类数据的迁移方式 数据分类 迁移方法 元数据
图1 双跑场景 推数场景：适用于数据源主动向应用推数的场景，切换点在数据源，需要停止旧数据源推数，配置并启动新数据源向应用推数，将应用的数据源从旧数据源切换到新数据源。
数据安全和权限管理：审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏感数据，并采取适当的加密和脱敏措施保护数据安全。 自动化任务调度：确保大数据任务调度平台的运行和调度正常。优化调度策略，确保任务按时准确完成，并处理可能的故障或异常情况。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
