检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
进一个迁移分组，迁移的时候要放同一批次，切换的时候要一起切。 依赖关系主要包括三种：共享数据依赖、共享服务器依赖、应用间的通信依赖。 依赖关系还有强弱之分：以共享数据依赖举例：应用程序A、B 和 C 都连接到db01，A 和B 每秒都会进行许多读写操作，但是C每晚在非高峰时间运行
基于RAM的共享：通过华为云RAM服务设置资源共享，授权其他组织单元和账号使用该共享资源的权限，该共享方式更加安全。目前支持通过RAM进行跨账号共享的资源清单请参考官网文档。 基于资源策略的共享：通过资源策略授予其他账号访问资源的权限，如OBS服务的桶策略、IMS服务的共享镜像和CBR的共享备份等。
部署 大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hado
负责集中部署和维护这些公共IT服务，并将其共享给公司内所有业务单元使用。 保障公共IT服务的安全稳定运行。 熟悉主流云平台的IaaS和PaaS服务，并能熟练部署这些服务。 熟悉云平台之上实现资源共享的技术方案，如基于网络的共享、基于资源权限策略的共享和华为云资源共享服务RAM。 具备良好的跨部门沟通、协作和问题解决能力。
安全态势感知。 同时，合规要求的提高也给企业带来了新的挑战。国内外的法律法规，如中国的网络安全法、数据安全法和个人信息保护法，欧盟的GDPR，金融行业的PCI-DSS，医疗行业的HIPPA等，对数据隐私和网络安全提出了严格的要求。企业需要投入大量的资源来满足不同地区和行业的合规标准，增加了管理负担。
运营账号的DSC服务可以对所有成员账号进行统一的数据安全防护，包括针对所有成员账号的统一数据安全风险识别和统一数据保护（数据水印、数据脱敏）。安全运营账号的DBSS服务可以基于Agent采集模式，在网络可达的前提下，实现跨账号的数据库审计和统一信息展现。安全运营账号的CCM服务可
构和人才队伍，是否建立了适合云环境的工作流程。 数智赋能 主要评估组织在大数据和人工智能领域的能力水平，是否能够利用云平台的数智化服务，实现数据驱动的业务创新和智能化转型，衡量组织的数据生命周期管理、数据治理能力，以及在人工智能技术（如AI开发、大模型等）方面的实践水平。 应用现代化
图1 大数据的数据迁移顺序 元数据迁移 首先，进行元数据的迁移。元数据是描述数据的数据，包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段，需要将原始数据的元数据信息导出，并在目标系统中重新建立或导入元数据，以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
区块链是一种去中心化、分布式的账本技术，可以确保数据的安全性和可信度。以下是区块链如何使能业务创新、与业务结合并推动业务现代化的几个方面： 透明度和可信度：区块链技术通过去中心化的特点，确保所有交易和数据记录被公开透明地存储，并且无法篡改。这为企业创造了更高的数据可信度和透明度，消除了传统中介机构的需求，降低了操作风险。
可接受的访问方式。对于数据库类需要直接裸盘映射的应用，只能使用块存储（EVS）。 是否需要共享：EVS支持共享操作，需要在购买时勾选共享特性，并通过专用集群软件管理共享磁盘。而SFS和OBS天然支持共享，因此需要结合业务场景分析要存储的内容是否有多节点共享的诉求。 存储容量：不同
主机迁移是典型的Rehost迁移方式，虽然主机（服务器）上可以承载各种系统应用如Nginx代理、数据库、容器、中间件、大数据等，但由于数据库/中间件/大数据等应用是以数据为核心，对于这类数据层面的迁移我们通常会采用独立的数据迁移方式而非主机迁移，这里讲的主机迁移对应的迁移层级为应用和操作系统。主机迁移的方式主要有以下三种：
调研数据流： 调研大数据平台及业务的架构图及数据流图，如下图： 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式（如：实时数据上报、批量数据抽取）。 分析大数据平台数据流向，数据在平台内各个组件间的流向，例如：数据采集组件类型、采集组件下一层、存储数据组件，数据处理过程中的工作流等。
网络枢纽。 集中部署VPN或专线与本地数据中心互联，打通云上云下互联的通道，所有账号都可以共享使用VPN或专线与本地数据中心通信。 集中部署云连接（Cloud Connect，CC）与华为云其他的Region进行网络互联，所有账号都可以共享使用CC与其他Region通信。 集中部
推数场景：适用于数据源主动向应用推数的场景，切换点在数据源，需要停止旧数据源推数，配置并启动新数据源向应用推数，将应用的数据源从旧数据源切换到新数据源。 图2 推数场景 抽数场景：适用于应用向数据源抽数的场景，切换点在应用，需要先停止应用向旧数据源抽数，然后配置并启动应用从新数据源抽数，
中间件层迁移实施 Redis迁移 Redis服务一般分为两种大的场景：缓存和数据库存储。在缓存时，一般不用进行迁移数据，大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景，其中在web场景下的缓存session时，也可以不用迁移
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储
档。 数据安全中心 数据安全中心服务（Data Security Center，DSC）是新一代的云化数据安全平台，提 供数据分级分类、数据安全风险识别、数据水印溯源和数据静态脱敏等基础数据安全能力。DSC通过数据安全总览整合数据安全生命周期各阶段状态，对外呈现整体云上数据安全态
按关联账号汇总的月度成本 了解过去6个月原始成本较高的关联账号的月度成本数据。 按企业项目汇总的月度成本 了解过去6个月各企业项目的原始成本月度数据。 按区域汇总的月度成本 了解过去6个月按照区域汇总的原始成本月度数据。 ECS的月度按需成本和使用量 了解过去6个月云主机每月按需原始成本和按需使用量情况。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
