检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据调研 平台调研 数据调研 任务调研 父主题: 调研评估
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题: 采用实施
与高层和干系人对齐 在确定了云化转型驱动力和优先级之后, 将云化转型驱动力和优先级、预期收益清晰地记录下来,与企业高层和干系人进行沟通和对齐,听取他们的意见和建议,获取他们的理解和支持。 父主题: 识别云化驱动力
筹备CCoE:负责筹备和组建CCoE组织,明确CCoE组织内各个角色的职责和技能要求,协调相关部门快速获取CCoE所需要的各类人力资源。
数据层:包括数据库、对象存储、文件系统,数据库一般通过华为云的数据迁移工具DRS做迁移,对象存储一般通过华为云对象存储迁移工具OMS做迁移,文件系统一般通过Rsync等迁移工具来迁移。
云安全团队 云安全团队负责云基础设施和云上业务系统的安全保障工作,主要职责包括云平台安全方案设计、访问控制与权限管理、安全监控与威胁检测、漏洞扫描与修复、数据加密与隐私保护、合规性审查与风险评估,以及应急响应与安全事件处理,确保云上业务系统的安全性、合规性和稳定性。
图1 双跑场景 推数场景:适用于数据源主动向应用推数的场景,切换点在数据源,需要停止旧数据源推数,配置并启动新数据源向应用推数,将应用的数据源从旧数据源切换到新数据源。
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。
数据边界 华为云提供了全方位数据边界保护您的敏感数据,全方位数据边界基于身份控制策略、网络控制策略和资源控制策略构筑起一道坚固的数据安全屏障。确保只有经过严格验证的可信身份,在符合安全标准的可信网络环境中,方能获得对特定资源的访问权限,从而保障数据安全。
大数据应用部署 大数据应用的部署有2种方法,可以基于华为云ECS重新部署大数据应用,或者是使用华为云SMS工具将大数据应用迁移到华为云ECS。
如果企业在未充分了解自身业务需求、组织结构、技术能力和战略目标的情况下,选择了不适合的云运营模式,可能会导致运营效率低下、安全合规风险加大、成本失控、管理复杂度增加等一系列问题,最终阻碍企业获取云化的业务价值。
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题: 方案设计
例如,可能存在环境配置复杂、部署流程繁琐、资源获取周期长等问题。通过与各个团队的沟通,收集需求,明确需要哪些服务、工具和功能来支持开发人员的工作。通过需求分析,制定平台工程的目标,包括但不限于: 提供统一的应用开发、测试和部署平台。
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。
大数据迁移批次规划说明 大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。
图1 云卓越中心组织结构 针对上面的CCoE组织结构中包含的团队和角色,下面详细描述对应的职责和技能要求,我们也提供了从哪里获取这些人力资源的建议。需要注意的是,这些角色并不需要由不同的员工承担,您可以根据企业的人力预算和员工的技能水平,让同一名员工承担多个角色。
全方位数据边界 全方位数据边界基于身份控制策略、网络控制策略和资源控制策略构筑起一道坚固的数据安全屏障。确保只有经过严格验证的可信身份,在符合安全标准的可信网络环境中,方能获得对特定资源的访问权限,从而保障数据安全。
云安全则借助于云服务商提供的丰富安全工具和服务,如身份与访问管理(IAM)、虚拟防火墙、安全组、加密服务等,支持自动化和可编程的安全管理,能够快速响应和调整安全策略,提高了安全管理的效率。
安全运营账号的DEW服务可以集中创建KMS秘钥,然后通过RAM服务共享给其他账号使用。
通过编写配置文件或使用命令行工具,定义容器的部署和运行方式。 网络和存储配置:配置容器之间的网络通信和访问外部资源的方式。确保容器可以与其他容器、数据库、消息队列等进行交互,并确保数据持久性和可靠性。