检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调研数据流： 调研大数据平台及业务的架构图及数据流图，如下图： 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式（如：实时数据上报、批量数据抽取）。 分析大数据平台数据流向，数据在平台内各个组件间的流向，例如：数据采集组件类型、采集组件下一层、存储数据组件，数据处理过程中的工作流等。
推数场景：适用于数据源主动向应用推数的场景，切换点在数据源，需要停止旧数据源推数，配置并启动新数据源向应用推数，将应用的数据源从旧数据源切换到新数据源。 图2 推数场景 抽数场景：适用于应用向数据源抽数的场景，切换点在应用，需要先停止应用向旧数据源抽数，然后配置并启动应用从新数据源抽数，
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储
图1 大数据的数据迁移顺序 元数据迁移 首先，进行元数据的迁移。元数据是描述数据的数据，包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段，需要将原始数据的元数据信息导出，并在目标系统中重新建立或导入元数据，以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
整集群大小和资源分配，以提高整体性能。 数据安全和权限管理：审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏感数据，并采取适当的加密和脱敏措施保护数据安全。 自动化任务调度：确保大数据任务调度平台的运行和调度正常。优化调度策略，确保任务按时准确完成，并处理可能的故障或异常情况。
部署 大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hado
工具，将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移服务（CDM）可以轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。详细操作指导请参考官网文档。 MRS HDFS数据迁移到OBS CDM支持将MRS HDFS的数据迁移到OBS，详细操作指导请参考官网文档。
转型的关键业务事件。 数字化转型： 企业进行数字化转型，需要更先进的IT技术和平台支撑，云平台可以提供丰富的数字化工具和服务。 数据中心退役：现有数据中心即将到期或设备老化，需要进行更新换代，迁移上云成为一个具有吸引力的选择。 合并和拆分： 企业收购、合并或拆分会对IT基础设施产
迁移时，和关键人员及时沟通。 任务依赖关系 识别关键任务，识别任务间依赖关系。 调研的方法主要是通过当前大数据平台获取，并辅助一些调研访谈进行补充和确认。 父主题： 大数据调研
实施难度：根据企业的IT部门的实施能力，选择一些实施难度较低的应用作为试点。 业务影响：考虑上云后对其它业务流程及数据流向的影响，尽量避免影响其它业务的正常运行。 安全性：考虑上云后对数据安全性及相关法律法规要求，尽量避免存在安全风险或者违反相关法律法规情况。 可测试性：企业上云要通过试点迁
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
最常用的切换方式，停止服务切换能重复保证数据一致性 低 低 0.5~3.5 停写不停读切换 较少用的切换方式，需要业务整改来实现停写不挺读，停止写服务切换能充分保证数据一致性 低 中 不停 0.5~3.5 不停服切换 很少用的切换方式，需要业务整改来实现双写或者双向同步，不停服切换需要业务改造来保证数据一致性，复杂度和难度较高
应用迁移上云简介 应用上云迁移是指将应用的接入层、应用层、中间件层和数据层迁移到云端的过程，迁移策略采用Rehost或Replatform，不含Refactor（应用改造），数据层包含对象存储、块存储、文件存储、关系型数据库、非关系型数据库。 应用上云迁移遵循如下的流程： 图1 应用迁移小循环
以供部署和生产使用。 数据管理和持久化： 在单体应用转换为微服务时，您需要考虑数据管理和持久化的问题。每个微服务可能需要有自己的数据库，或者共享同一个数据库。选择适合您的需求的数据库解决方案，并确保数据的一致性和可靠性。在云环境中，您可以考虑使用托管的数据库服务，如华为云RDS、
织内特定的业务流程和业务场景，如ERP、CRM、营销管理系统等。业务系统的开发、测试和运行需要消耗一定的计算、存储、网络、安全、数据库、中间件、大数据、AI服务等资源。大型业务系统能够包含多个子系统。 IT管理系统：为了支撑业务系统的长期安全稳定运行所建立的IT支撑和管理系统，如安全运营中心、IAM和监控运维系统等。
如何构建平台工程 在云平台上构建平台工程，可以充分利用云平台提供的丰富服务和工具，降低构建和维护成本，并提高IDP的可靠性和可扩展性。以下是一些关键步骤。 明确平台工程的目标和需求 平台工程的核心目标是通过构建自助式内部开发平台（IDP），优化软件交付和生命周期管理，提高开发效率
备之间的协同工作、远程监控和预测性维护。这将提高生产效率、降低故障率并优化供应链管理。 数据采集和分析：物联网设备可以收集大量的传感器数据，包括温度、湿度、压力等各种环境参数。通过对这些数据进行分析，企业可以获得有价值的洞察，用于改进产品质量、优化运营流程和预测需求变化。 客户体
的云资源、应用和数据的隔离？ 如何减少单点故障的爆炸半径？ 企业组织架构和业务架构经常调整，云上资源如何灵活应对？ 如何设计跨多个业务单元的网络架构、建立受控的网络连接通道？ 如何统一管控多个业务单元的边界网络出入口？ 如何规划生产、开发和测试环境？ 公共资源如何在多个业务单元之间共享？
人员安全管理 企业需要对IT部门内的员工以会接触到企业敏感数据的员工进行人员安全管理，主要包括安全意识教育、安全能力培训、重点岗位管理和安全违规问责等。 安全意识教育 为了提升全员的信息安全意识，规避信息安全违规风险，保证业务的正常运营，企业可以从意识教育普及、宣传活动开展、承诺书签署三个方面开展安全意识教育
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
