检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据迁移批次规划说明 大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。 关联关系复杂:大数据任务之间的关联关系很复杂,很难拆分,此时也可以选择整体迁移。
日志账号的Tenant Administrator权限 所有其他账号下的Tenant Guest权限 网络管理组 集中部署和管理企业的网络连接资源,如ER、VPN、DC、NATG等,统一创建和管理各个账号的VPC、子网和NACL;集中部署和管理网络边界安全防护资源,如WAF,CFW等
管理)以及敏捷管理方法做概要介绍。 项目进度风险通常是云化转型项目因各种超出预期的事件或问题导致项目周期延后,如新业务发布上线、关键业务数据库故障、病毒感染等事件,都会对项目实施周期带来影响,因此项目团队应充分考虑可能遇到的问题或风险来制定项目周期。应对项目周期风险的策略通常是综
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息: 大数据平台调研,包括大数据集群、任务调度平台、数据流向。 数据调研,包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
切换 大数据的切换主要是指大数据应用的切换,其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点,以便更好的指导大数据应用的切换。 双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用。
部署 大数据平台部署 大数据平台的部署可以参考如下方法: 大数据集群部署 基于架构设计的原则,云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务,轻松运行Hado
保障 在大数据迁移的保障阶段,需要执行以下任务来确保顺利过渡到新的云环境: 监控和警报设置:建立实时监控系统,监测集群、任务调度平台和应用程序的运行状态。设置警报,以便及时发现潜在的问题并采取措施。 优化集群性能:对大数据集群进行性能评估和调优。监视资源使用情况,优化配置参数、调整集群大小和资源分配,以提高整体性能。
任务调研 任务调研主要包括如下方面: 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler,Hera、Crontab等。 任务类型 基于编程语言分类: Jar类:常用于MRS、Flink、Spark等 SQL类: 常用于Hive、Spark、UDF等
不停服切换方案 应用层切换不停服方案 若只涉及到应用层的切换,可参考章节 停服切换方案 中提到的应用灰度切流方案,切换期间不停服。 数据层或应用整体切换不停服方案 准备工作: 华为云应用层和数据层已完成迁移; 华为云应用层和数据层已完成业务验证,可正常使用。 业务切换: 修改两边
区块链 区块链是一种去中心化、分布式的账本技术,可以确保数据的安全性和可信度。以下是区块链如何使能业务创新、与业务结合并推动业务现代化的几个方面: 透明度和可信度:区块链技术通过去中心化的特点,确保所有交易和数据记录被公开透明地存储,并且无法篡改。这为企业创造了更高的数据可信度和
调研应用全景图 应用迁移的调研信息是由粗到细、逐步迭代的,持续整个上云周期,在前期主要是调研应用的全景图,在迁移阶段,要打开每个应用,调研详细的部署架构和组件信息。应用的调研需要找各业务域的应用架构师和应用运维管理员。 应用全景图的调研是在评估规划阶段进行的,一般按照业务域->业务系统->应用模块逐层打开,如下图:
云上高可用方案 公有云上业务的可用性,由应用层的可用性,架构设计的可用性、云服务的可用性共同决定。业务可用性目标的达成是一项系统工程,公有云模式下,业务的可靠性取决于客户对整体业务架构的可用性设计、运维规范管理(如:备份机制、日常演练、人员操作规范等)。 图1 业务可用性方案 华
开发与运维现代化 通过DevOps实践,可以实现开发与运维的现代化。下面是一些步骤和实施建议: 文化转变:首先,要实现开发与运维的现代化,需要在组织中建立一个强调合作与共享的文化。开发团队和运维团队应该互相信任、合作,并且共同追求系统稳定性和持续交付。 自动化:自动化是DevOp
应用部署参考架构 应用部署架构示例 参考架构库 父主题: 应用架构设计
云治理团队 云治理团队的职责是识别企业云化转型过程中的各种风险,并制定和实施有效的治理框架、策略和流程,目的是将企业云化转型的风险最小化,并最大化业务收益。云治理团队通常包含云治理专家、审计师和云培训师,职责和技能要求如下表所示。 表1 云治理团队的角色和职责 角色 职责 技能要求
目标读者 如整体框架所述,CAF的内容涵盖云化全旅程和云化全视角,涉及到了组织内不同部门的不同角色,以下角色能从CAF中找到跟自身职责相关的指导,这些角色可以将这些指导作为决策和行动的起点。 CXO(包含CEO、CIO、CTO、COO、CFO等) 业务主管 IT主管、技术主管 财务专家
成本分析 成本分配驱动业务方承担财务责任 成本分配支撑企业将成本分配到各业务团队中,使得各业务团队的成本清晰可见。根据清晰的成本,业务部门可准确定价,并平衡成本、稳定性和性能,经济高效的提供领先方案。企业管理者基于数据决策各业务的云开支, 保障核心业务和战略业务方向的支出,不超支,不浪费。
云安全团队 云安全团队负责云基础设施和云上业务系统的安全保障工作,主要职责包括云平台安全方案设计、访问控制与权限管理、安全监控与威胁检测、漏洞扫描与修复、数据加密与隐私保护、合规性审查与风险评估,以及应急响应与安全事件处理,确保云上业务系统的安全性、合规性和稳定性。云安全团队通常