检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平台上没有
策略等。 调研数据流： 调研大数据平台及业务的架构图及数据流图，如下图： 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式（如：实时数据上报、批量数据抽取）。 分析大数据平台数据流向，数据在平台内各个组件间的流向，例如：数据采集组件类型、采集组件下一层、存储数据组件，数据处理过程中的工作流等。
大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估
企业来说，如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面： 数据驱动决策：大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力，为决策提供支持。通过对历史数据和实时数据的分析，企业可以发现市场趋势、需求变化以及潜在
如何构建平台工程 在云平台上构建平台工程，可以充分利用云平台提供的丰富服务和工具，降低构建和维护成本，并提高IDP的可靠性和可扩展性。以下是一些关键步骤。 明确平台工程的目标和需求 平台工程的核心目标是通过构建自助式内部开发平台（IDP），优化软件交付和生命周期管理，提高开发效率
优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件，部署架构设计时，可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据集群组件，但
可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是传感器、网站日志、移动应用、社交媒体等各种数据源。通过数据采集和提取，将原始数据收集到大数据平台进行后续处理和分析。 数据集成： 数据集成是将来自不同数据源的数据进行整合和转换
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
平台工程 什么是平台工程 如何构建平台工程 父主题： 顶层规划
主要包括安全意识教育、安全能力培训、重点岗位管理和安全违规问责等。 安全意识教育 为了提升全员的信息安全意识，规避信息安全违规风险，保证业务的正常运营，企业可以从意识教育普及、宣传活动开展、承诺书签署三个方面开展安全意识教育 意识教育普及：定期开展信息安全意识教育学习，要求员工持
什么是平台工程 平台工程（Platform Engineering）是一种通过构建和运营自助式内部开发平台（IDP，Internal Developer Platform）来优化软件交付和生命周期管理的工程学科。其目标是通过标准化和自动化的方式，减少开发人员与底层基础设施之间的复
日刷新/周刷新/月刷新/实时更新 任务执行区间 让数据迁移、数据校验和业务高峰期错开。 离线任务上班前和下班后执行 调研的方法主要是通过当前大数据平台获取，并辅助一些调研访谈进行补充和确认。 父主题： 大数据调研
数字人技术打造虚拟形象，应用于虚拟主播、在线教育等领域，提供更具沉浸感的用户体验。 大数据分析则帮助企业深入了解用户需求，优化产品和服务，实现精准营销和精细化运营。 物联网技术将设备连接上云，实现数据实时采集和远程控制，催生了智能家居、智慧城市等创新应用。 华为云使得这些新技术唾手可得，企业随时随地
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
任务数量 调研各类任务的总数量，用于评估任务迁移周期及改造工作量。如：XX调度平台下，Jar任务XX个。 任务更新周期 识别出不同调度平台，不同任务类型的任务更新周期。如：XX调度平台XX类任务月度更新；XX平台XX类型任务每日XX点更新。 任务详细信息 识别出所有任务的详细信息，包括
大数据迁移流程每个阶段概述如下： 调研：调研大数据平台的版本和配置信息、数量类型和数据量、任务类型和任务量。 设计：设计大数据的部署架构、数据迁移方案、任务迁移方案和数据校验方案。 部署：部署大数据平台，包括集群部署和任务调度平台部署。 迁移：实施数据迁移和任务迁移。 验证：进行数据校验和任务验证。
安全责任共担模型 华为云的安全责任在于保障云平台和云服务自身的安全，涵盖华为云数据中心的物理环境和运行其上的基础服务、平台服务、应用服务等。这不但包括华为云基础设施和各项云服务的安全功能和性能，也包括对这些云基础设施和各项云服务进行安全运维和运营，以及保障华为云平台和云服务遵从相关的合规性要求。
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
保障 在大数据迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。
应的设置。 创建用户和角色 根据源端平台的权限设置，创建相应的用户和角色。确保在目标平台上设置与源端平台一致的用户身份和角色分配。 调整权限级别和范围 在目标平台上，根据源端平台的权限设置，调整权限级别和范围。确保目标平台上的权限设置与源端平台一致，并确保用户只能访问其应有的资源。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
