检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安全性和数据保护：云上部署的任务调度平台需要具备安全性和数据保护机制。确保对敏感数据和系统组件进行适当的访问控制和加密，以防止未经授权的访问和数据泄露。 性能优化：在云上部署任务调度平台时，需要考虑性能优化。优化资源配置、任务调度算法和数据分发策略，以提高任务执行的效率和速度。
如何构建平台工程 在云平台上构建平台工程，可以充分利用云平台提供的丰富服务和工具，降低构建和维护成本，并提高IDP的可靠性和可扩展性。以下是一些关键步骤。
调研数据格式类型和压缩算法： 调研平台对数据的安全性和权限控制机制，例如数据加密、用户访问权限管理等。 了解大数据集群的高可用性和容错机制，包括故障恢复、备份策略、容灾方案等。
什么是平台工程 平台工程（Platform Engineering）是一种通过构建和运营自助式内部开发平台（IDP，Internal Developer Platform）来优化软件交付和生命周期管理的工程学科。
其次，基于安全数据构建安全威胁检测模型并找到安全威胁，分析全攻击链环节、各层防线行为特点，纵深布控，基于大数据技术，训练智能分析算法，海量数据中精准冒泡异常行为，结合用户和实体行为分析（UEBA），还原攻击链，自动更新描绘用户画像、资产指纹、情报画像。
平台工程 什么是平台工程 如何构建平台工程 父主题： 顶层规划
任务调度： 大数据平台通常需要处理复杂的数据作业。任务调度系统（如Azkaban等）用于管理和调度各种数据处理作业，可以设置作业的依赖关系、调度频率、重试策略等，以确保作业的顺利执行和任务的准时完成。 数据应用： 大数据平台的最终目的是为业务提供有价值的数据应用。
架构模板查找 登录华为云官网，在上方导航栏选择“解决方案>通用解决方案>Haydn解决方案数字化平台”进入Haydn解决方案数字化平台首页，在页面右下角点击“解决方案加速场>架构模板”可进入架构模板页面。
如果目标云平台上没有对应的大数据集群组件，部署架构设计时，可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据集群组件，但兼容性较差，经评估可能需要较大的改造工作量，部署架构设计时，可以考虑继续采用自建的方案。 最小改造原则：如无特别的业务驱动，要尽量避免进行大规模改造。
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。
任务类型 基于编程语言分类： Jar类：常用于MRS、Flink、Spark等 SQL类： 常用于Hive、Spark、UDF等 Python类：常用于Spark、算法场景等 其他类：如Shell、Scala等，多用于脚本调用 任务数量 调研各类任务的总数量，用于评估任务迁移周期及改造工作量
例如，利用机器学习算法，企业可以自动处理大量的数据，识别模式和趋势，进行预测分析和决策支持。这有助于加快业务流程，减少人力资源消耗，并提高决策的准确性和效果。 个性化和客户体验：AI技术可以通过个性化推荐、智能客服和虚拟助手等方式改善客户体验。
如果该云平台出现故障，例如大规模宕机或区域性灾难，企业的业务将受到严重影响。多云战略可以通过将业务系统部署在多个独立的云平台上，实现跨云容灾，避免单一云平台故障带来的业务中断。即使一个云平台出现问题，其他云平台上的业务仍然可以正常运行，保障业务连续性。
离线任务上班前和下班后执行 调研的方法主要是通过当前大数据平台获取，并辅助一些调研访谈进行补充和确认。 父主题： 大数据调研
首先，最基本的要求是保障应用系统可以在云平台上长期安全稳定运行；其次，要让应用系统可以充分利用云计算的优势提升应用系统的质量，如提升应用系统的韧性、敏捷性、安全性和性能等，最后，应用系统生于云、长于云，可以基于云平台提供的新技术快速进行产品、服务甚至商业模式的创新，孵化新功能、提高业务运营效率
要按照应用部署架构设计方案进行云上资源的开通和配置，云上资源开通主要有如下3种方式： 在云平台Console控制台手动创建云资源。 编写脚本或通过自动化平台对接，调用云平台的API接口，批量发放云资源，每个云服务都有对应的API接口，可以进行资源的生命周期管理。
容器化平台选择：选择一个适合你的需求的容器化平台。最常见的容器化平台是Docker，但也有其他选择，如Kubernetes等。 容器化应用程序：将应用程序拆分为较小的模块或微服务，并将每个模块打包为独立的容器镜像。
大数据迁移流程每个阶段概述如下： 调研：调研大数据平台的版本和配置信息、数量类型和数据量、任务类型和任务量。 设计：设计大数据的部署架构、数据迁移方案、任务迁移方案和数据校验方案。 部署：部署大数据平台，包括集群部署和任务调度平台部署。 迁移：实施数据迁移和任务迁移。
图1 安全责任共担模型 华为云的安全责任在于保障云平台和云服务自身的安全，涵盖华为云数据中心的物理环境和运行其上的基础服务、平台服务、应用服务等。
保障 在上云迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 云平台监控：确保建立有效的监控系统，跟踪云平台的性能、可用性和安全性。设置警报机制，及时发现并解决潜在的问题。 系统监控和运维：设置系统监控和告警，确保及时发现和解决潜在的问题。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
