检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TB 数据分层 调研数据分层主要用于迁移优先级和数据校验标准。 数据接入层、中间层、结果层 数据权限 根据源端数据权限控制组件的不同，选择不同的权限数据迁移方式 Sentry、Ranger等 数据重要性 调研数据重要性的目的是区分核心数据和非核心数据，用于迁移优先级和数据校验标准。
大数据 大数据是指规模庞大且复杂的数据集合，对于企业来说，如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面： 数据驱动决策：大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力，为决策提供支持。通过对历史数据和实时数
简称DIS） 处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。详细信息请参考官网文档。 云数据迁移（Cloud
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施
、社交媒体等各种数据源。通过数据采集和提取，将原始数据收集到大数据平台进行后续处理和分析。 数据集成： 数据集成是将来自不同数据源的数据进行整合和转换的过程。这包括数据清洗、数据预处理、数据格式转换、数据合并等操作，以确保数据的一致性和准确性。 数据存储： 大数据平台需要具备高效
用、高效的线上数据迁移服务，通过调用源端对象存储的SDK，可快速传输数据并对数据进行加密存储，将数据复制到华为云OBS，可以帮助把对象存储数据从其他云服务商对象存储服务中的数据轻松、平滑地迁移到华为云。通过第一次全量任务，将源端对象存储全量数据迁移至华为云OBS，业务切换时，在华
数据边界 华为云提供了全方位数据边界保护您的敏感数据，全方位数据边界基于身份控制策略、网络控制策略和资源控制策略构筑起一道坚固的数据安全屏障。确保只有经过严格验证的可信身份，在符合安全标准的可信网络环境中，方能获得对特定资源的访问权限，从而保障数据安全。如下图所示，可信身份从互联
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平
抽样内容对比。 数据验证方法 数据分为数据库数据、中间件数据和文件数据，这三种数据的一致性验证方法和工具不同： 数据库数据一致性验证的方法如下表所示。 表2 数据库一致性对比方式 对比项 工具 描述 库和表级内容对比 DRS工具 查询对比数据库表的每一条数据，确保每一条的每一个
数据层迁移方案 数据层主要负责业务数据的持久化，为上层业务逻辑的实现提供数据支持，数据层包括两类数据，结构化数据和非结构化数据。结构化数据包含各类数据库，例如MySQL数据库、MongoDB数据库等，非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据，主要
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
信身份通过本地数据中心网络（可信网络）访问云资源的请求也会被拒绝，可信身份访问其他企业的对象存储桶（不可信资源）的请求还会被拒绝，只有可信身份通过本地数据中心网络（可信网络）访问本企业的云资源的请求是允许的。 图1 全方位数据边界 身份控制策略 身份控制策略是数据边界的第一道防线
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据集
区块链 区块链是一种去中心化、分布式的账本技术，可以确保数据的安全性和可信度。以下是区块链如何使能业务创新、与业务结合并推动业务现代化的几个方面： 透明度和可信度：区块链技术通过去中心化的特点，确保所有交易和数据记录被公开透明地存储，并且无法篡改。这为企业创造了更高的数据可信度和透明度
E团队。 图1 去中心化运营模式 去中心化运营模式的优点如下： 敏捷性高：各业务单元根据自身需求快速部署和扩展资源，加快创新速度。 贴近业务：应用团队更了解业务需求，可以更好地定制云解决方案。 责任明确：各业务单元对自己的云环境负责，更容易追溯问题和优化性能。 去中心化运营模式的缺点如下：
调研数据流： 调研大数据平台及业务的架构图及数据流图，如下图： 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式（如：实时数据上报、批量数据抽取）。 分析大数据平台数据流向，数据在平台内各个组件间的流向，例如：数据采集组件类型、采集组件下一层、存储数据组件，数据处理过程中的工作流等。
图1 大数据的数据迁移顺序 元数据迁移 首先，进行元数据的迁移。元数据是描述数据的数据，包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段，需要将原始数据的元数据信息导出，并在目标系统中重新建立或导入元数据，以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
主要解决分布式环境下的数据传输，数据访问，应用调度，流程管理等。在云上，常用的业务中间件有： 缓存：华为云提供的缓存中间件主要为分布式缓存服务（Distributed Cache Service，简称DCS），包含Redis、Memcached等。 消息中间件：华为云提供的分布
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
