检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是传感器、网站日志、移动应用、社交媒体等各种数据源。通过数据采集和提取，将原始数据收集到大数据平台进行后续处理和分析。 数据集成： 数据集成是将来自不
数据一致性要求是100%。建议进行数据的行数对比和对象对比，抽样内容对比。 非核心业务 99.9% 电商系统的用户购物车商品数据、客服沟通消息数据等，作为非核心业务的数据，如果有微量损失，并不会影响客户的业务使用和体验。建议若切换时间有限，可以只进行数据的行数对比。 边缘业务 90%
大数据迁移流程每个阶段概述如下： 调研：调研大数据平台的版本和配置信息、数量类型和数据量、任务类型和任务量。 设计：设计大数据的部署架构、数据迁移方案、任务迁移方案和数据校验方案。 部署：部署大数据平台，包括集群部署和任务调度平台部署。 迁移：实施数据迁移和任务迁移。 验证：进行数据校验和任务验证。
3、统一日志平台，减少应用日志检查时间 数据校验 5~30 1、开启工具的动态校验功能，减少校验时间 应用启动 1~30 1、统一运维平台，批量关停，减少操作时间 2、统一日志平台，减少应用日志检查时间 中间件层停服（消息消费完） 5~30 1、提前关停非核心业务，减少消息量 2、统一监控平台，减少检查时间
云原生安全服务 华为云提供了丰富的云原生安全服务，这些云原生安全云服务与华为的云平台深度集成，在性能、弹性、便利性上有较好的优势，同时，云服务商的安全运营经验也会持续推动云原生安全服务的能力提升，建议企业优先选择云原生安全服务。 数据加密服务 数据加密服务（Data Encryption
应的设置。 创建用户和角色 根据源端平台的权限设置，创建相应的用户和角色。确保在目标平台上设置与源端平台一致的用户身份和角色分配。 调整权限级别和范围 在目标平台上，根据源端平台的权限设置，调整权限级别和范围。确保目标平台上的权限设置与源端平台一致，并确保用户只能访问其应有的资源。
活性和可维护性。 无服务器计算：云平台提供的无服务器计算服务（如 FunctionGraph）允许用户将代码部署到云端，而无需管理服务器。云平台会根据请求自动分配计算资源，并在请求处理完成后释放资源。这种模式极大地简化了扩展性管理。 提升安全性 安全性是指保护数据和应用系统免受未
Hadoop数据迁移到华为云MRS服务 如图所示，将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务。HBase
式迁移能力。 主机迁移服务（SMS）：是一种P2V/V2V迁移服务，可以把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器云主机上，具体使用方法请查看SMS帮助文档。 数据复制服务（DRS）：用于数据库实时迁移和数据库实时同步的云服务。提供了实时迁移、备份
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
本地数据库迁移到使用云数据库服务。这通常不涉及修改核心应用程序代码。 希望利用云平台的PaaS服务，例如数据库、消息队列等，以减轻自建数据库和消息队列的运维压力。 需要提高应用程序的性能或可扩展性。 不需要进行大规模代码修改，但希望优化应用程序在云平台上的运行。 Rearchitect
方式，将实时数据上报到双跑的两个平台。 双平台同时运行 目标大数据集群、任务调度平台与原大数据集群、任务调度平台同时运行一段时间。在这段时间内，两个平台会并行处理任务，并产生相应的结果。 运行稳定性验证 在双平台同时运行期间，需要对目标大数据平台任务执行的稳定性、数据一致性进行持
适用场景 优势 不足 1 现网CMDB平台 客户有CMDB平台，且包含应用调用模块 所见即可得，高效，可直接获取详细资源清单、数据层-数据层、数据层-应用层关联关系 1.有些传统的CMDB系统信息更新不及时 2 现网云管平台 客户有CMP或虚拟化管理平台 能够获取准确的资源详情 无法获取应用架构、关联关系等信息
设计并实施持续安全运营方案。 负责云平台的日常安全监控与运维，及时发现并处理安全事件。 执行漏洞扫描、补丁管理和安全配置加固。 实施访问控制、权限管理和日志审计，确保系统合规性。 配合云安全专家完成安全技术方案的落地与优化。 编写安全运维脚本，提升安全运营效率。 熟练使用云平台的安全运营服务和各种安全监控工具。
中间件管理员 负责消息队列 (例如 Kafka, RabbitMQ)，Web 服务器 (例如 Nginx, Apache)，应用服务器 (例如 Tomcat, JBoss)，缓存服务 (例如 Memcached, Redis) 等的安装、配置和维护。 监控中间件服务的性能指标，识别性能瓶颈，并进行调优以提高性能和效率。
网关拦截 接入层，服务网关拦截写请求，放通读请求 入口统一，有统一网关，网关具有拦截能力，并对拦截的接口能配置友好的提示。 简单 无需改造 停止写服务，读服务不停 写服务或对应接口shutdown，读服务或对应接口保持alive 应用层服务已做读写分离场景，每个服务只进行单独的读操作或写操作，没有同时进行读写的服务
概述 基于云平台的新技术正驱动着产品和服务创新浪潮。 人工智能与大模型结合，赋予产品更智能的交互和更精准的个性化服务，例如AI客服、智能推荐系统等。 区块链技术则增强了产品和服务的安全性和可信度，可应用于供应链管理、数字身份认证等场景，构建透明可追溯的体系。 数字人技术打造虚拟形
中间件层：Kafka、Solr和ES采用3AZ集群部署，任意一个AZ故障，服务仍然可用；Redis采用双AZ主备节点部署。 数据层：MySQL数据库采用双AZ主备部署实现HA；MongoDB使用副本集或Cluster集群，3AZ分布，某AZ故障，其他AZ正常提供服务。 应用层-容器集群高可用 Master高可用：容器集群Master
熟悉主流的云平台及云服务。 具备扎实的IT基础设施知识，包括服务器、网络、存储、数据库、中间件等。 熟悉各种操作系统和应用软件。 了解不同的迁移策略和方法。 具备一定的IT基础设施和业务系统的调研和评估经验。 具备良好的沟通和团队协作能力。 IT部门或者外包给云实施专业服务提供商 迁移实施工程师
配合开发团队进行应用的版本更新和发布。 监控应用日志，分析并解决潜在问题。 熟悉云平台的APM服务，具备应用性能监控和日志分析能力。 掌握CI/CD工具和容器编排工具。熟悉常见的应用部署方式（如容器化、微服务架构）。 熟悉常见中间件（如Nginx、Redis、Kafka）的运维管理。 业务部门
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
