检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
专家,负责设计云上技术架构,包括选择合适的云服务(IaaS、PaaS、SaaS),基于四架构六要素设计云上目标架构,确保技术选型合理、资源配置最优,并为各项技术决策提供咨询。 数据架构师:由IT主管指派,来自IT部门的大数据团队,负责设计企业在云上的数据架构,包括数据存储、数据处理、数据集成和数据治理。
调研任务调度平台支持的任务类型,包括Jar类任务、SQL类任务、脚本类任务(Python、Shell)等。 调研任务调度平台是否提供可视化和管理界面,以方便任务调度的配置、监控和管理。 了解任务调度平台的容错机制,包括任务失败后的重试机制、故障恢复策略等。 调研数据流: 调研大数据平台及业务的架构图及数据流图,如下图:
存放的是对象,可以直接存放文件,文件会自动产生对应的系统元数据,用户也可以自定义文件的元数据 访问方式 只能在ECS/BMS中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统(OS层,不涉及应用改造) 在ECS/BMS/CCE中通过网络协议挂载使用,支持NFS/CIFS(通用文件系统不支持CIF
设计云上的大数据集群部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据集群,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议设计大数据集群部署架构时,优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件,部署架构设计时,
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
证书到期前提醒员工重新参加考试。 离岗安全审查:按照调动、离职安全审查清单,对内部调离、离职人员进行离岗安全审查,包括离岗权限账号的清理或修改等。 安全违规问责 企业需要建立严密的安全责任体系,贯彻违规问责机制。要求每个员工都对自己工作中的行为和结果负责,不仅要对技术和服务负责,
练度,减少中断时长,确保切换过程的顺利进行。 预防问题:演练可以帮助发现可能存在的问题,比如切换过程中的应用和批处理任务启停顺序问题、网络配置问题、数据一致性对比等问题,从而提前进行预防和解决。 团队配合:演练可以让团队成员熟悉切换的全流程和切换步骤,从而更好地协同工作,提高团队配合效率。
图所示。在这种运营模式中,所有业务系统都由专门的应用团队独立运营,应用团队不仅负责应用的设计、开发、测试、部署和运维工作,还需要负责业务系统所需IaaS和PaaS资源的部署和运维,同时要确保业务系统的安全性和云资源的成本管理。中心IT团队仅负责制定统一IT标准和IT流程,通过发文
地理冗余:将不同的AZ部署在不同的地理位置,可以防止地区范围的故障,例如自然灾害或电力中断对整个系统的影响。 企业可以基于AZ故障域进行应用的高可用性署设计,设计时可以考虑如下方面: 跨AZ部署:将应用程序的不同组件部署在多个AZ中,以确保即使一个AZ不可用,其他AZ中部署的组件仍能正常
了解过去6个月各企业项目的原始成本月度数据。 按区域汇总的月度成本 了解过去6个月按照区域汇总的原始成本月度数据。 ECS的月度按需成本和使用量 了解过去6个月云主机每月按需原始成本和按需使用量情况。 容器成本洞察 了解CCE集群、命名空间、工作负载粒度的成本分布和趋势。 父主题:
为什么需要Landing Zone 为了实现业务单元的安全和故障隔离,华为云的推荐做法是将不同业务单元的应用系统分别部署在不同的账号中。华为云账号具备以下三个属性。 华为云账号是一个资源容器,用户可以在其中部署任意云资源和上层业务应用系统,不同的账号相当于不同的资源容器,账号之间是完全隔离的。因此在一个
成本和可运维性遵循基础环境的设计进行适配即可。 大数据架构设计:大数据的部署架构设计包括大数据集群部署架构设计、大数据任务调度平台部署架构设计和大数据应用部署架构设计,其中大数据应用的部署架构可以参考应用部署架构的设计方法。大数据架构设计同样要考虑架构设计的6要素。 在做云上架构
障相互隔离。企业可在此基础上构建如下场景的高可用体系: 单AZ部署:通常情况云上不建议单AZ部署,除非是对时延特别敏感的业务,无法接受同Region的AZ间时延,这种情况可以考虑单AZ部署,利用云服务主备、集群化部署模式来满足单个业务节点故障时快速恢复业务的需求,主要利用集群内节
应用架构设计 应用部署架构概述 可用性设计 可扩展性设计 性能设计 应用部署参考架构 父主题: 方案设计
大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。 关联关系复杂:大数据任务之间的关联关系很复杂,很难拆分,此时也可以选择整体迁移。 分批迁移的
应用架构、部署架构、依赖关系等信息。 负责设计和管理业务系统在云上的应用架构,包括应用的架构模式、技术选型、部署方式等,确保应用的性能、可扩展性、安全性和可靠性。 与数据架构师和云架构师紧密合作,确保应用架构与数据架构和云架构的兼容性。 指导开发团队进行应用开发和部署。 深入理解
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题: 采用实施
概述 应用系统迁移或部署到云上后,云化转型正式进入了运维治理阶段。这一阶段至关重要,因为它直接影响着云上IT基础设施和业务系统的性能、可靠性、安全性和成本效益。通过持续和有效的运维治理,企业能够确保云资源的高效利用,保障业务的连续性和稳定性,实现对云环境的全面掌控,最大化云化转型的收益。
调研应用全景图 应用迁移的调研信息是由粗到细、逐步迭代的,持续整个上云周期,在前期主要是调研应用的全景图,在迁移阶段,要打开每个应用,调研详细的部署架构和组件信息。应用的调研需要找各业务域的应用架构师和应用运维管理员。 应用全景图的调研是在评估规划阶段进行的,一般按照业务域->业务系统->应用模块逐层打开,如下图:
ganizations服务构建一个清晰、有序、易于管理的云上组织架构,然后将企业的不同业务单元(如子公司、业务系统、产品线、部门、项目等)部署在各自独立的云账号中。这种方式不仅能够与公司现有的治理架构完美匹配,还能够实现高效的故障和安全隔离,将单个业务单元的故障和风险限制在其自身的范围内,减少“减少爆炸半径”。