检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS数据迁移到OBS CDM支持将MRS HDFS的数据迁移到OBS，详细操作指导请参考官网文档。 任务迁移 大数据任务迁移是指将大数据任务从一个调度平台迁移到另一个调度平台的过程，主要涉及Jar类任务、SQL类任务、脚本类任务，以下简要介绍这三类任务的迁移实施方法。 Jar类任务迁移
日志以及错误和异常情况。对于执行异常的任务，需要仔细检查和调试，找出问题并进行修复。 验证作业执行结果的一致性 验证大数据任务执行结果的一致性，对比新旧大数据平台的作业输出结果数据是否一致。可以使用对比工具、数据校验脚本或手动检查的方式进行验证。如果发现数据不一致的情况，可能需要
如何构建平台工程 在云平台上构建平台工程，可以充分利用云平台提供的丰富服务和工具，降低构建和维护成本，并提高IDP的可靠性和可扩展性。以下是一些关键步骤。 明确平台工程的目标和需求 平台工程的核心目标是通过构建自助式内部开发平台（IDP），优化软件交付和生命周期管理，提高开发效率
熟悉各种数据库技术，包括关系型数据库和NoSQL数据库。 熟悉大数据技术，例如Hadoop、Spark、Flink等。 具备数据分析和数据挖掘能力。 熟悉数据安全和数据隐私相关的法规和标准。 具备良好的沟通和团队协作能力。 大数据部门或外聘 父主题： 云卓越中心
什么是平台工程 平台工程（Platform Engineering）是一种通过构建和运营自助式内部开发平台（IDP，Internal Developer Platform）来优化软件交付和生命周期管理的工程学科。其目标是通过标准化和自动化的方式，减少开发人员与底层基础设施之间的复
平台工程 什么是平台工程 如何构建平台工程 父主题： 顶层规划
购买的MRS大数据集群的弹性IP、虚拟网络防火墙等策略配置；（2）配置访问控制策略，如弹性IP绑定的端口仅对信任的网络或主机开放，避免大数据集群直接暴露在互联网；（3）负责大数据集群的用户管理、大数据组件的安全配置，并且妥当保管相关的账户凭证；（4）以及对其部署在大数据集群上的应用进行安全管理。
与云运维团队和应用团队合作，优化应用系统的成本效益。 实施成本优化策略，例如改变计费模式、购买资源包、关闭闲置资源等。 熟悉云平台的成本管理工具。 熟悉各种云服务的计费模式。 具备数据分析能力，能够从大量数据中提取有价值的见解。 具备良好的沟通能力，能够与技术和财务团队有效协作。 IT部门内部培养或者外聘
主机迁移 主机迁移是典型的Rehost迁移方式，虽然主机（服务器）上可以承载各种系统应用如Nginx代理、数据库、容器、中间件、大数据等，但由于数据库/中间件/大数据等应用是以数据为核心，对于这类数据层面的迁移我们通常会采用独立的数据迁移方式而非主机迁移，这里讲的主机迁移对应的迁移层级
负责集中部署和维护这些公共IT服务，并将其共享给公司内所有业务单元使用。 保障公共IT服务的安全稳定运行。 熟悉主流云平台的IaaS和PaaS服务，并能熟练部署这些服务。 熟悉云平台之上实现资源共享的技术方案，如基于网络的共享、基于资源权限策略的共享和华为云资源共享服务RAM。 具备良好的跨部门沟通、协作和问题解决能力。
的高效利用，保障业务的连续性和稳定性，实现对云环境的全面掌控，最大化云化转型的收益。 运维治理阶段需要针对云上IT基础设施、应用系统和大数据平台进行精益化治理、确定性运维、全方位安全运营和精细化FinOps，并基于WAF框架进行持续优化。首先，精益化治理贯穿始终，它提供了一套标准
数据库安全 数据库安全服务（Database Security Service，DBSS），是一个智能的数据库安全服务，基于机器学习机制和大数据分析技术，提供数据库审计，SQL注入攻击检测，风险操作识别等功能，保障云上数据库的安全。包括用户行为发现审计、多维度分析、实时告警、提供精细
云审计服务CTS、云日志服务LTS、、配置审计服务Config、对象存储服务OBS等 数据平台账号 集中部署企业的大数据平台，将其他账号的业务数据统一采集到数据平台进行存储、处理和分析 数据处理团队 数据湖、大数据分析平台、数据接入服务、数据治理平台 沙箱账号 用于进行各种云服务的功能测试、控制策略的测试等 测试团队
这些问题的根源在于缺乏高效的安全运营机制和工具支持。传统的安全运营模式已无法适应当前快速变化的安全环境。为提升安全运营效率，企业需要引入先进的安全运营中心（SOC），利用大数据分析、机器学习等技术，实现告警的自动关联和优先级排序。通过自动化响应工具，加快事件处理速度。建立标准化的流程和协同机制，提高跨部门的响应效率
、成本和可运维性遵循基础环境的设计进行适配即可。 大数据架构设计：大数据的部署架构设计包括大数据集群部署架构设计、大数据任务调度平台部署架构设计和大数据应用部署架构设计，其中大数据应用的部署架构可以参考应用部署架构的设计方法。大数据架构设计同样要考虑架构设计的6要素。 在做云上架
后将各个应用系统和大数据平台迁移或直接部署到云上，或者基于云平台进行应用现代化改造，也可以基于云平台提供的各种创新技术直接在云上进行应用和业务创新。 运维治理：将应用系统迁移或部署到云上之后就进入了运维治理阶段，在该阶段需要针对云基础设施、应用系统和大数据平台进行持续的精益化治理
解决云化过程中遇到的技术挑战，提供专业支持。 数据架构师 设计高效的数据架构，支持数据分析和业务决策。 确保数据的安全性和合规性。 实现数据的集成和共享，提升数据价值。 规划数据在云环境中的存储和管理方案。 选择合适的云数据库和大数据服务。 实施数据迁移和治理，维护数据质量，保障数据安全。 网络架构师
数字化转型是指组织利用数字技术（如IT基础设施、数据库、大数据、物联网、人工智能、区块链等）对其业务模式、运营流程、产品和服务进行全面的重塑和创新，以适应快速变化的市场环境和满足客户不断提升的需求。当前主流的云计算平台都已经内置集成了丰富的、高可用和高安全的数字技术，组织可以在
100%）。 生产站点修复后，数据库切换回主库，DNS 切换回主站点（生产站点 100%，容灾站点为 0%）。 为提高容灾中心利用率，可将只读和数据分析业务放到容灾站点。 高可用容灾能力构建是一个复杂的系统工程，涉及入口流量控制、业务层改造、中间件和数据库的控制，以及整体机制的协同，所以整
PaaS 将DevOps工具链、中间件、数据库、微服务引擎、大数据等平台资源以云服务的形式提供给用户，用户基于这些云服务可以开发、测试、部署和运维应用程序。用户不管理或控制底层云基础设施和中间件、数据库、微服务引擎等平台资源，但可以控制已部署的应用程序及其相关的数据。 SaaS SaaS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
