检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据 大数据是指规模庞大且复杂的数据集合，对于企业来说，如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面： 数据驱动决策：大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力，为决策提供支持。通过对历史数据和实时数
务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。详细信息请参考官网文档。 云数据迁移（Cloud Data Migration，简称CDM） 云数据迁移（Cloud Data Migration
抽样内容对比。 数据验证方法 数据分为数据库数据、中间件数据和文件数据，这三种数据的一致性验证方法和工具不同： 数据库数据一致性验证的方法如下表所示。 表2 数据库一致性对比方式 对比项 工具 描述 库和表级内容对比 DRS工具 查询对比数据库表的每一条数据，确保每一条的每一个
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施
数据调研 数据调研主要包括如下方面： 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量，用于评估历史数据迁移周期； 日增量数据，用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
数据层迁移方案 数据层主要负责业务数据的持久化，为上层业务逻辑的实现提供数据支持，数据层包括两类数据，结构化数据和非结构化数据。结构化数据包含各类数据库，例如MySQL数据库、MongoDB数据库等，非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据，主要
大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
华为云RDS for MySQL 本地MySQL迁移到RDS for MySQL 本地自建MongoDB 华为云DDS 本地MongoDB迁移到DDS 华为云RDS for MySQL 分布式数据库中间件DDM RDS for MySQL迁移到DDM MySQL分库分表 分布式数据库中间件DDM
数据边界 华为云提供了全方位数据边界保护您的敏感数据，全方位数据边界基于身份控制策略、网络控制策略和资源控制策略构筑起一道坚固的数据安全屏障。确保只有经过严格验证的可信身份，在符合安全标准的可信网络环境中，方能获得对特定资源的访问权限，从而保障数据安全。如下图所示，可信身份从互联
、社交媒体等各种数据源。通过数据采集和提取，将原始数据收集到大数据平台进行后续处理和分析。 数据集成： 数据集成是将来自不同数据源的数据进行整合和转换的过程。这包括数据清洗、数据预处理、数据格式转换、数据合并等操作，以确保数据的一致性和准确性。 数据存储： 大数据平台需要具备高效
现，以确保在硬件或软件故障情况下的数据和任务的持久性。 数据安全和合规性：在云上部署的大数据集群需要有严格的数据安全和合规性保障。采用适当的数据加密、身份验证、访问控制和数据隔离措施，以保护敏感数据免受潜在的安全威胁。 成本效益：在云上部署大数据集群时，需要考虑成本效益。云服务提
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平
以保障只有可信的身份才可以访问云资源及敏感数据。例如，企业可以将关键业务系统部署在VPC内，通过VPCEP访问华为云的RDS实例，而不必暴露在公网中，同时可以限定只有数据库管理员张三可以通过该VPCEP访问RDS实例，进一步保证了敏感数据的安全性。关于如何管理VPCEP策略，请查看这个链接。
图1 大数据的数据迁移顺序 元数据迁移 首先，进行元数据的迁移。元数据是描述数据的数据，包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段，需要将原始数据的元数据信息导出，并在目标系统中重新建立或导入元数据，以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
中间件层迁移实施 Redis迁移 Redis服务一般分为两种大的场景：缓存和数据库存储。在缓存时，一般不用进行迁移数据，大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景，其中在web场景下的缓存session时，也可以不用
leader的正常选主。 Sorl数据节点：Sorl Data节点2AZ平均分布。索引分片至少设置（N/2）+1副本，在2AZ其中任意一个AZ整体宕机情况，确保集群始终有一份完整的副本确保数据高可用。 图6 中间件层Sorl高可用设计示例 数据层- MySQL高可用 主备实例跨AZ部署，
云相较于传统IDC非常大的一个优势具备丰富的资源和强大的扩展能力；根据业务场景的不同需求，可以将扩展能力分成如下3类： 纵向（垂直）扩展：适用于单体应用、独立应用、有状态应用等场景下，随着业务不断发展和变化，需要快速升级硬件以应对业务变化。如在进行一些促销活动时，对资源的需求往往比正常要高出
CSS云搜索引擎服务可以跨AZ集群部署，单AZ的故障不影响业务运行； RDS for MySQL采用主备部署方式，主备实例之间的数据实时同步，如果主实例出现故障，备实例可以快速升为主实例； Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶，应对数据误操作之后的风险；
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
