检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
和同步。增量作业是指在迁移过程中新增的、需要定期运行的作业。 作业双跑 在增量作业迁移和同步成功后,进行作业双跑。作业双跑是指在新的大数据平台上同时运行原有系统和新系统的作业,以验证新系统的结果和原有系统的一致性。这可以通过比较作业输出、日志和指标等来判断两个系统的结果是否一致。
在首次数据加载时,能极大的提高写入效率,并降低对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区很多时,会有很多
性、配置项间的关系等),记录配置信息等。并通过专业的CMDB工具对配置项、配置项的属性和配置项之间的关系进行管理。 应用系统的各项变更都是影响应用系统安全稳定运行的因素。生产环境中的操作系统、数据库、中间件和应用程序等的变更,包括软件更新、配置改变等,都需要通过有序的活动进行变更
简介 标签是用于标识和分类云资源,通常由键(Key)和值(Value)组成。当用户拥有相同类型的许多云资源时,可以使用标签按各种维度(例如用途、所有者或环境等)对云资源进行标识和分类,然后基于标签进行资源筛选、成本归类和细粒度权限设置等,从而简化资源管理和优化成本。 如下图所示,
停写不停读,主要指切换期间,为了追求较好的用户体验,保持一部分读的服务不停服,保持在线可使用状态;为了保持数据一致性,写的服务仍然采用停服方式进行切换。从业务对外体验上,多数用户感知不到停服的影响,比如某购物平台,用户仍然可以浏览商品,但是不能下单,下单时可友好的提示:系统正在升级中,预计凌晨4点恢复,请您稍后重试下单等。
Landing Zone解决方案参考架构 这九大领域的实施需要在特定的账号内完成,比如组织与账号管理是在主账号(管理账号)中完成,而集中网络管理主要是在网络运营账号中完成。下表是九大领域对应的主要账号。 表1 九大领域对应的主要账号 九大领域 对应的主要账号 组织与账号管理 主账号(管理账号)
云项目管理 企业的云化转型对目标、范围、进度、成本和质量要有清晰的定义,需要作为一个标准的项目进行运作,然而,企业的云化转型是一项系统性工程,涉及组织、流程和技术的方方面面,它是一个持续时间长达数年的复杂项目,科学的项目管理方法和行动方案直接影响云化转型的效率和质量,最终将会影响云化目标的实现。
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
环境的源端需要能真正的模拟生产环境,数据尽量和生产保持一致。提前进行数据的预置,环境的检查等。 演练环境的准备有2种方案,企业可以结合实际情况,选择合适的方案: 若企业没有能真正模拟生产的测试环境做演练,则需要在华为云搭建一个完整的源端、目的端环境,用于模拟演练源端到目的端的切换步骤。
师,职责和技能要求如下表所示。 表1 云安全团队的角色和职责 角色 职责 技能要求 来源 云安全专家 负责云平台整体安全方案的设计与优化,制定安全策略和标准。 评估云基础设施和业务系统的安全风险,提出改进方案。 设计并实施身份安全、网络安全、数据安全、应用安全、主机安全和安全运维方案。
上述流程,才能将一个迁移批次的所有应用迁移到云端,如下图: 图2 分批迁移流程 用小循环的每个阶段概述如下: 调研:对应用的技术架构进行详细的调研,详细到具体的技术组件和版本信息。 设计:深度调研结果,给出云上的技术架构和规格选型,输出详细的迁移方案和切换方案。 部署:创建云上资
支持按照模板类型、部署环境、适用行业、适用场景对架构模板进行过滤筛选,您也可以在适用行业和适用场景右侧下拉选择更多行业和场景; 支持按照默认综合排序、最新发布、最多引用、我的关注对架构模板进行排序。 图1 Haydn平台架构设计模板 架构模板详情 图2 Haydn平台模板详情 架构模板引用
切换 大数据的切换主要是指大数据应用的切换,其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点,以便更好的指导大数据应用的切换。 双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用。
业务切换是整个上云迁移的关键环节,出问题会直接影响企业业务,不同业务对停服的要求是不一样的,比如,有些业务在切换期间是不允许停服的,停服会造成较大的业务损失;有些业务在切换期间是允许停服的,比如办公OA系统,夜间非工作期间可以停服;有些业务系统,为了更好的客户体验,希望切换期间部分浏览类的业务继
务。企业需要规划和实施故障转移策略、备份和恢复机制,以及定期进行灾难恢复演练,以验证应用系统的韧性。 安全性支柱 安全性支柱致力于保护信息、系统和资产的机密性、完整性和可用性。它涵盖了应用安全、数据安全与隐私保护、基础设施安全和安全运营等方面。企业应当建立强大的安全策略,包括使用
需要调研大数据任务调度平台的类型、版本、支持的大数据框架和技术,调度任务类型,可视化和管理界面,扩展性和集成性,容错和故障恢复,安全性和权限控制以及社区支持和文档资料等方面的信息。用于后续大数据调度平台的选型和方案设计。 调研现有的大数据任务调度平台的类型,例如Azkaban等,了解它们的特点和适用场景。
数据中心网络(可信网络)访问云资源的请求也会被拒绝,可信身份访问其他企业的对象存储桶(不可信资源)的请求还会被拒绝,只有可信身份通过本地数据中心网络(可信网络)访问本企业的云资源的请求是允许的。 图1 全方位数据边界 通过全方位的数据边界提供的保护措施,您可以实现如下数据保护能力:
安全防护三分在于技术,七分在于运营,只有各层防线的安全产品得到正确的配置和良好的维护,才能有效的发挥出安全防护的效果。通过一个统一的安全运营平台,将各种安全产品能力有机的整合起来,将安全防护的效果最大化。 纵深防御体系的建设往往需要经历一个漫长的过程,很难一蹴而就,在建设的过程中需要考虑安全、效率、成本和体验方面的平
作不当影响切换时长和切换结果。 Runbook的每个切换操作都可能会执行失败,要提前分析每个步骤发生执行失败时的决策项,细分失败场景,决策是回退还是继续进行,防止切换当天决策组讨论时间较长,无法决策的情况发生。 回退决策点设计原则如下: 每个切换阶段设计最晚的执行完时间,超时需要决策是否进行回退。
迁移完成后,需要对源端和目的端数据做一致性比对,对于数据一致性比对的精度,不同的场景有不同的要求。一般来说,核心业务的数据库表要求源端和目的端100%一致;对于大数据类业务中的部分场景,例如用户画像计算等,可以约定原始数据90%一致。如下是一个参考标准,可根据实际情况调整: 表1 数据校验标准参考