检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
切换 大数据的切换主要是指大数据应用的切换,其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点,以便更好的指导大数据应用的切换。 双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用。
根据源端数据权限控制组件的不同,选择不同的权限数据迁移方式 Sentry、Ranger等 数据重要性 调研数据重要性的目的是区分核心数据和非核心数据,用于迁移优先级和数据校验标准。 交易类是核心数据,日志类是非核心数据 数据更新频率 针对不同的刷新周期,制定数据的迁移计划和校验计划。
将当前的传统架构直接迁移到云上,而没有进行必要的适配和优化,可能会出现稳定性、体验差等问题。 优化建议:对当前的应用架构进行评估,并进行相应的适配改造,以适应云上环境,并充分应用云原生的能力,提升架构的可用性、可扩展性和性能。 未考虑合规性和法律要求 在设计云上部署架构时,未考虑数据存储和访问的合规性要求,可能导致法律风险和数据泄露问题。
战。 如何做好业务单元的安全和故障隔离,确保业务单元之间的云资源、应用和数据的隔离? 如何减少单点故障的爆炸半径? 企业组织架构和业务架构经常调整,云上资源如何灵活应对? 如何设计跨多个业务单元的网络架构、建立受控的网络连接通道? 如何统一管控多个业务单元的边界网络出入口? 如何规划生产、开发和测试环境?
掌握经验:上云迁移试点可以让企业的技术团队和业务人员获得实践经验。在试点过程中,他们可以学习并熟悉云平台的特点、功能和最佳实践,了解迁移的工具和流程,并积累相关知识和技能,为后续的全面迁移做好准备。 确定优先级:通过试点迁移,企业可以评估不同应用或业务的迁移优先级。根据试点结果,企业
业务系统在承载和源端压力相当时的性能表现,并对比收集到的指标,确定是否存在问题。 验证系统的稳定性和可靠性:通过长时间、高负载的测试,验证云上业务系统在各种情况下的稳定性和可靠性,包括系统资源的管理、数据传输、异常处理等。 评估系统的可扩展性:在系统压力逐步增大的过程中,测试云上
识别出所有任务的详细信息,包括任务ID、名称、责任部门、责任人、执行时间、更新周期等。用于后续任务改造和迁移时,和关键人员及时沟通。 任务依赖关系 识别关键任务,识别任务间依赖关系。 调研的方法主要是通过当前大数据平台获取,并辅助一些调研访谈进行补充和确认。 父主题: 大数据调研
过多轮的讨论、平衡和修正,才能最终形成一致的战略方向。 设计云化转型的愿景 首先是设计云化转型的愿景。愿景是组织对未来的期望和蓝图,是全体员工共同努力的方向。在制定愿景时,需要结合组织的使命、价值观以及对行业发展的洞察。愿景应该具有前瞻性、鼓舞性和指导性。例如,一个有力的愿景可以
当前企业业务中使用比较多的中间件类型为缓存中间件和消息中间件。中间件作为数据存储的临时场所,数据一般不用迁移,但在切换时,为了确保源端和目的端数据的一致性,需要等中间件消息队列中的消息完成消费后再切换。如果中间件缓存数据是持久化的,即作为数据库使用,此场景需要进行数据的迁移。所以中间件的迁移方案
过程中的能力现状,通过生成的雷达图可以很快找出与行业标杆企业之间的差距,从而制定有针对性的改进和提升计划。 图2 云化成熟度雷达图 需要注意的是这个云化成熟度评估模型是一个相对高阶和粗颗粒度的评估,主要目的是为了快速识别组织的能力差距和制定云化目标,并不能代替调研评估阶段的详细现
等,作为非核心业务的数据,如果有微量损失,并不会影响客户的业务使用和体验。建议若切换时间有限,可以只进行数据的行数对比。 边缘业务 90% 电商系统的首页推荐数据、用户浏览数据、用户画像数据等,如果有一部分损失,并不会影响客户的业务使用可体验。建议进行表级的的行数对比,抽样内容对比。
项目管理技能: 具备扎实的项目管理知识和经验,熟悉PMBOK项目管理方法论,能够熟练运用项目管理工具和技术。 云技术知识: 深入理解云计算的概念、架构和服务,熟悉不同的云部署模型(公有云、私有云、混合云),了解主流云平台的特点和优势。 沟通和协调能力: 优秀的沟通、协调和人际交往能
务。企业需要规划和实施故障转移策略、备份和恢复机制,以及定期进行灾难恢复演练,以验证应用系统的韧性。 安全性支柱 安全性支柱致力于保护信息、系统和资产的机密性、完整性和可用性。它涵盖了应用安全、数据安全与隐私保护、基础设施安全和安全运营等方面。企业应当建立强大的安全策略,包括使用
行统一的安全运营,包括统一云上资产管理、统一的安全态势管理、统一安全信息和事件管理、统一的安全编排与响应等活动。安全运营账号的DSC服务可以对所有成员账号进行统一的数据安全防护,包括针对所有成员账号的统一数据安全风险识别和统一数据保护(数据水印、数据脱敏)。安全运营账号的DBSS
和同步。增量作业是指在迁移过程中新增的、需要定期运行的作业。 作业双跑 在增量作业迁移和同步成功后,进行作业双跑。作业双跑是指在新的大数据平台上同时运行原有系统和新系统的作业,以验证新系统的结果和原有系统的一致性。这可以通过比较作业输出、日志和指标等来判断两个系统的结果是否一致。
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
型时一般建议选择主力型号,避免选择老旧、冷门的规格,且尽量选择在主力可用区(如北京四的可用区1和7、上海一的可用区1和4)。 除AI等特殊场景需要使用BMS外,通用算力一般使用ECS即可,几个典型场景的选型建议如下: 表2 典型场景的ECS服务选型 位置 典型应用 选型建议 接入层
将通过显式的验证,减少系统信任带来的攻击面。零信任把现有的基于实体鉴别和默认授权的静态信任模型(非黑即白),变成基于持续风险评估和逐次授权的动态信任模型。零信任不根据网络空间位置决定可信度,其重心在于保护资源,而不是网段。与传统安全理念对比,它将网络防御的重心从静态的、基于网络的
企业进行云化转型是一个复杂且充满挑战的过程。成功的云化转型需要仔细的规划、充分的沟通和持续的优化。通过识别和避免上述反模式,企业可以更好地管理云化转型风险,确保转型战略与业务战略对齐,最终实现预期的业务价值,并为企业未来的发展奠定坚实的基础。 父主题: 制定战略
源端数据静止,除了停止应用外,还要考虑批处理任务和消息队列中的消息消费情况等。 应用和定时任务的启停经常有顺序,需梳理应用和批处理任务的启停顺序,避免启动顺序不当造成业务影响。 由于公网DNS的域名解析有缓存功能,所以通常会出现虽然系统已切换到目的端,但是仍然有访问流量转发到源端的场景。所以Runbook