检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在首次数据加载时，能极大的提高写入效率，并降低对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了分区对应的列名和每一列的值。当分区很多时，会有很多
验证大数据任务执行结果的一致性，对比新旧大数据平台的作业输出结果数据是否一致。可以使用对比工具、数据校验脚本或手动检查的方式进行验证。如果发现数据不一致的情况，可能需要考虑迁移过程中的数据转换、数据格式或数据处理逻辑的问题，并进行相应的修复和调整。 作业执行的性能验证 在迁移后，验证作业的执行性能，包括运行时间
管理重点 企业的管理重点在于IT基础设施的维护、服务器的正常运行时间以及数据中心的物理安全。 企业的管理重点转向更高层次的操作，如应用程序的性能优化、数据管理和云安全。 敏捷性 硬件采购和部署周期较长，资源扩展需要经过复杂的审批和采购流程，响应速度较慢。 创新和变更受到硬件资源的限制，难以快速适应业务需求的变化。
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施
大数据平台通常需要处理复杂的数据作业。任务调度系统（如Azkaban等）用于管理和调度各种数据处理作业，可以设置作业的依赖关系、调度频率、重试策略等，以确保作业的顺利执行和任务的准时完成。 数据应用： 大数据平台的最终目的是为业务提供有价值的数据应用。数据应用可以是基于大数据分析的实时报表、可
大数据是指规模庞大且复杂的数据集合，对于企业来说，如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面： 数据驱动决策：大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力，为决策提供支持。通过对历史数据和实时数据的分析，企业可以
等方面的信息。用于后续大数据调度平台的选型和方案设计。 调研现有的大数据任务调度平台的类型，例如Azkaban等，了解它们的特点和适用场景。 调研现有大数据任务调度平台的版本，并了解最新版本的功能更新和改进。 确认任务调度平台是否支持当前使用的大数据框架和技术，例如Hadoop、
任务数量 调研各类任务的总数量，用于评估任务迁移周期及改造工作量。如：XX调度平台下，Jar任务XX个。 任务更新周期 识别出不同调度平台，不同任务类型的任务更新周期。如：XX调度平台XX类任务月度更新；XX平台XX类型任务每日XX点更新。 任务详细信息 识别出所有任务的详细信息，包括任
环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储、计算和管理组件）迁移到新的运行环境，包括集群的重新配置和数据迁移。集群迁
保障 在大数据迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。
情况下的数据和任务的持久性。 数据安全和合规性：在云上部署的大数据集群需要有严格的数据安全和合规性保障。采用适当的数据加密、身份验证、访问控制和数据隔离措施，以保护敏感数据免受潜在的安全威胁。 成本效益：在云上部署大数据集群时，需要考虑成本效益。云服务提供商可以提供弹性的计算和存
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
设计时，可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据任务调度组件，但兼容性较差，经评估可能需要较大的改造工作量，部署架构设计时，可以考虑继续采用自建的方案。 最小改造原则：如无特别的业务驱动，要尽量避免进行大规模改造。大数据任务调度平台的组件要1：1对标设计，版本尽
等，作为非核心业务的数据，如果有微量损失，并不会影响客户的业务使用和体验。建议若切换时间有限，可以只进行数据的行数对比。 边缘业务 90% 电商系统的首页推荐数据、用户浏览数据、用户画像数据等，如果有一部分损失，并不会影响客户的业务使用可体验。建议进行表级的的行数对比，抽样内容对比。
助客户实施全量与增量数据迁移，协助客户验证全量与增量数据迁移的效果，完成云下存储数据到云上存储数据的迁移。详细信息请查看上云迁移服务。 文件存储迁移 NAS文件存储是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。华为云的弹性文件服务SFS提供按需扩展的高性能文件存储
响数据的一致性，因此，应尽量减少批次的数量。 批次间相互独立：批次划分时，确保不同批次间尽量是相互独立的、松耦合的，很少有相互依赖的任务和数据流。独立的批次划分，有助于降低迁移中对其它业务域的影响。 批次内紧耦合：批次划分时，确保每个批次包含相关性较高的主题域和相互依赖的任务和数据流，包括数据共享场景。
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
信身份访问其他企业的对象存储桶（不可信资源）的请求还会被拒绝，只有可信身份通过本地数据中心网络（可信网络）访问本企业的云资源的请求是允许的。 图1 全方位数据边界 身份控制策略 身份控制策略是数据边界的第一道防线。它确保只有经过严格验证的可信身份才能够访问企业的云资源。身份控制策略主要通过SCP（Service
适用于无法使用华为云DRS数据服务的场景 非结构化数据迁移方案 非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。当前企业业务中承载非结构化数据的存储方式主要为文件存储和对象存储。
数据中心网络（可信网络）访问云资源的请求也会被拒绝，可信身份访问其他企业的对象存储桶（不可信资源）的请求还会被拒绝，只有可信身份通过本地数据中心网络（可信网络）访问本企业的云资源的请求是允许的。 图1 全方位数据边界 通过全方位的数据边界提供的保护措施，您可以实现如下数据保护能力：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
