检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Migration, 简称CDM），是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。详细信息请参考官网文档。 数据快递服务（Data
其职责和技能要求如下表所示。 表1 云架构团队的角色和职责 角色 职责 技能要求 来源 云架构师 负责云平台和云基础设施的整体规划和架构设计，包括Landing Zone、平台工程、网络、存储、安全、灾备等方面，确保云基础设施的安全性、可靠性、性能和成本效益。 选择合适的云服务商和云服务类型。
这有助于做出准确的决策，提高业务的竞争力。 个性化营销和客户关系管理：大数据技术可以帮助企业更好地了解客户，实现个性化的营销和客户关系管理。通过对客户行为、兴趣和偏好的分析，企业可以精确地进行定制化的产品推荐和营销活动，提高销售转化率和客户满意度。 预测分析和供应链优化：大数据
中介机构的需求，降低了操作风险。 智能合约和自动化执行：区块链上的智能合约是一种自动化的合约机制，能够根据预先设定的条件和规则自动执行。这在供应链管理、金融服务等领域具有广泛的应用。智能合约可以提高交易的效率，减少人工干预，降低成本，并防止欺诈和纠纷。 去中介和减少摩擦：区块链技
多点汇总分析的、日趋自动化的云安全运营能力来支撑。 综上所述，云安全与传统IT安全的关注点和实现方式存在显著的区别。企业在云化转型的过程中，需要重新审视和调整原有的安全策略和安全架构，充分利用云服务商提供的云原生安全能力，适应云环境下的安全管理模式，保障业务和数据的安全。 父主题：
些工具和系统支持在海量数据集上进行查询、聚合和可视化，以提供数据洞见和决策支持。 任务调度： 大数据平台通常需要处理复杂的数据作业。任务调度系统（如Azkaban等）用于管理和调度各种数据处理作业，可以设置作业的依赖关系、调度频率、重试策略等，以确保作业的顺利执行和任务的准时完成。
等，作为非核心业务的数据，如果有微量损失，并不会影响客户的业务使用和体验。建议若切换时间有限，可以只进行数据的行数对比。 边缘业务 90% 电商系统的首页推荐数据、用户浏览数据、用户画像数据等，如果有一部分损失，并不会影响客户的业务使用可体验。建议进行表级的的行数对比，抽样内容对比。
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
根据源端数据权限控制组件的不同，选择不同的权限数据迁移方式 Sentry、Ranger等 数据重要性 调研数据重要性的目的是区分核心数据和非核心数据，用于迁移优先级和数据校验标准。 交易类是核心数据，日志类是非核心数据 数据更新频率 针对不同的刷新周期，制定数据的迁移计划和校验计划。
如何支撑业务发展。狭义上的IT运营模式是指企业管理和运营其IT资源、服务和基础设施的方式，它涉及到如何有效地配置、管理和优化IT资源，旨在提升性能和效率、降低成本、增强灵活性，以支持企业的业务目标和战略。广义上的IT运营模式还包括组织结构、运营流程、角色和职责等要素。简单来讲，I
适用于无法使用华为云DRS数据服务的场景 非结构化数据迁移方案 非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。当前企业业务中承载非结构化数据的存储方式主要为文件存储和对象存储。
和同步。增量作业是指在迁移过程中新增的、需要定期运行的作业。 作业双跑 在增量作业迁移和同步成功后，进行作业双跑。作业双跑是指在新的大数据平台上同时运行原有系统和新系统的作业，以验证新系统的结果和原有系统的一致性。这可以通过比较作业输出、日志和指标等来判断两个系统的结果是否一致。
响数据的一致性，因此，应尽量减少批次的数量。 批次间相互独立：批次划分时，确保不同批次间尽量是相互独立的、松耦合的，很少有相互依赖的任务和数据流。独立的批次划分，有助于降低迁移中对其它业务域的影响。 批次内紧耦合：批次划分时，确保每个批次包含相关性较高的主题域和相互依赖的任务和数据流，包括数据共享场景。
切换 大数据的切换主要是指大数据应用的切换，其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点，以便更好的指导大数据应用的切换。 双跑场景：大数据应用分别在源环境和目标环境各部署一套，实现双跑，切换点在域名，业务切换时只需要进行域名的切换，将业务流量切换到新应用。
大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储、计算和管理组件）迁移到新的运行环境，包
需要调研大数据任务调度平台的类型、版本、支持的大数据框架和技术，调度任务类型，可视化和管理界面，扩展性和集成性，容错和故障恢复，安全性和权限控制以及社区支持和文档资料等方面的信息。用于后续大数据调度平台的选型和方案设计。 调研现有的大数据任务调度平台的类型，例如Azkaban等，了解它们的特点和适用场景。
调研方法有很多，企业要结合自身的实际情况，从调研的效率、调研获取信息的完整度和真实度三个方面评估，选择最合适的调研方式。通常情况下，优先推荐CMDB调研法，CMDB中缺少的信息再通过云管平台或调研访谈的方式补齐。 如下是常见的调研方式，建议企业遵循由易到难的调研思路进行调研。有些服务
当前企业业务中使用比较多的中间件类型为缓存中间件和消息中间件。中间件作为数据存储的临时场所，数据一般不用迁移，但在切换时，为了确保源端和目的端数据的一致性，需要等中间件消息队列中的消息完成消费后再切换。如果中间件缓存数据是持久化的，即作为数据库使用，此场景需要进行数据的迁移。所以中间件的迁移方案
能的故障或异常情况。 异常处理和故障恢复：建立故障处理和恢复计划，包括对集群、任务和应用程序可能出现的问题进行分类并定义相应的响应和恢复步骤。 团队培训和知识共享：培训团队成员以适应新的环境和技术栈。建立知识分享机制，促进团队内部的交流和经验分享。 父主题： 大数据迁移
如果EIP需要对华为云以外的地方提供服务，那么该EIP需要在当地信管局进行服务域名和对应EIP的备案，备案通过后，方可对外提供服务。EIP购买和使用方法，请参照华为云弹性公网IP服务。 备案是中国大陆的一项法规，使用大陆节点服务器提供互联网信息服务的用户，需要在服务器提供商处提
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
