检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程,企业可以根据实际需要选择云服务或自建大数据组件: 业务数据源: 业务数据源是大数据平台的数据输入来源,可以是传感器、网站日志、移动应用、社交媒体等各种数据源。
资产盘点,识别并清理资产风险 使用安全云脑自动盘点华为云上各类资产(主机、IP、网站、数据库等),并使用第三方生态软件将云下的资产信息,自动对接到安全云脑中。
数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。详细信息请参考官网文档。
采用多种沟通方式,例如会议、培训、邮件、内部网站等,确保所有干系人都能了解云化转型的进展和影响,以及需要干系人提供什么样的支持。 意见反馈机制: 建立意见反馈机制,鼓励干系人提出意见和建议,并积极采纳合理的建议。 企业进行云化转型是一个复杂且充满挑战的过程。
生产中心采用双AZ部署(双活、热备),容灾中心单AZ。 在生产和容灾中心分别部署RDS数据库实例,数据库 1:1:1 主备复制。 生产和容灾中心产生的配置、日志、快照和备份等,通过 OBS 实现跨区复制。 生产站点某个AZ故障时,切换到另一个AZ,数据库主备切换。
代码分析 仔细检查应用程序的源代码,特别是配置文件和代码中涉及的外部依赖关系。因为有些依赖关系可能由代码直接指定。 系统扫描和监控 借助系统监控工具和网络扫描工具,扫描整个系统并识别出与应用程序相关的依赖关系。
支持从源码、软件包、镜像包快速发布应用,秒级弹性伸缩、按量付费。可做到基础设施免运维,根据可观测的运行指标对应用进行生命周期管理。 沉淀公共服务 您需要对企业内部的公共组件和服务进行梳理和沉淀,这是提升平台工程价值的关键。
需要了解更多关于FinOps的信息等,请直接参考FinOps基金会的网站。 图2 单位业务成本逐步下降 父主题: FinOps
企业可在此基础上构建如下场景的高可用体系: 单AZ部署:通常情况云上不建议单AZ部署,除非是对时延特别敏感的业务,无法接受同Region的AZ间时延,这种情况可以考虑单AZ部署,利用云服务主备、集群化部署模式来满足单个业务节点故障时快速恢复业务的需求,主要利用集群内节点故障自动探测和切换的方式来完成故障节点的恢复
根据云上大数据资源配置,修改源代码,例如版本、依赖库、数据库连接串,以及本地开发环境的库依赖配置等。 编译源代码,生成云上环境可执行的Jar包。 上传Jar包,并在任务调度平台部署和配置Jar包。 执行调度任务,并根据日志检查任务执行状态和结果。
在WAF管理控制台将网站添加并接入WAF,即可启用WAF。启用之后,您网站所有的公网流量都会先经过WAF,恶意攻击流量在WAF上被检测过滤,而正常流量返回给源站IP,从而确保源站IP安全、稳定、可用。关于WAF服务的详细功能和详细使用方法,请参考官网帮助文档。
单AZ故障时,若Primary节点所在AZ故障,利用原生的Mongo选主机制选新主,当备节点不可用时,隐藏节点接管服务,保证高可用,当前支持三副本、五副本、七副本。 图8 MongoDB高可用设计示例 父主题: 可用性设计
这种趋势的背后是多种因素的驱动,以下是一些主要的驱动力: 避免单云故障:将业务部署在单一云平台上存在单点故障风险。如果该云平台出现故障,例如大规模宕机或区域性灾难,企业的业务将受到严重影响。
例如,组织可以在内部网站开设云化转型专栏,定期发布相关信息和进展。同时,各部门负责人应当积极向团队成员传达战略内容,结合部门实际情况,解释云化转型将如何影响他们的工作,以及他们可以做出哪些贡献。通过这些努力,组织能够增强员工对战略的理解和认同,形成全员参与的良好氛围。
业务容器POD多副本均衡的跨AZ部署,通过华为云CCE容器引擎的调度策略实现,从而确保业务负载跨数据中心高可靠; DCS Redis跨AZ主备部署,确保跨可用区的高可靠;DMS Kafka构建跨双可用区或三可用区集群,确保消息的高可靠;CSS云搜索引擎服务可以跨AZ集群部署,单AZ
6 数据层分批切换 该方案的优点如下: 应用切换阶段操作简单,引流阶段只调整网关流量权重和负载均衡流量权重即可; 网关、负载均衡灰度引流,一旦有问题,随时可以把流量切换回原环境; 应用切换阶段,应用不需要停止,可正常访问;数据层切换阶段,仅需要部分应用停止写入,但可以读; 数据层单次只切换部分节点
中小型企业以及单账号客户,建议优先使用人财物权管理相对完善的企业项目来映射组织。如果存在更多维度、更细粒度规划的诉求,可以使用标签作为组织规划的补充。
目的端、迁移任务、执行脚本)检查 云服务基础检查项 运维团队 确认运维提供的测试wifi是否已准备就绪 是 否 运维团队 检查华为云专线同步带宽使用是否有超带宽的告警 是 否 运维团队 云厂家后端保障人员进行日常状态检查 是 否 运维团队 云服务高可性检查,确认目标端云资源是否存在单AZ
表1 华为云的云成本管理工具列表 分类 工具 适用场景 成本规划与计划 价格计算器 自主搭配产品估算新业务上云支出 成本与使用量预测 预测存量业务的未来支出 企业多账号 大型企业、集团公司,通过账号隔离资源和成本 企业项目 中小型企业及单账号下的组织映射 成本标签 更多维度、更细粒度
单可用区(SFS Turbo)/单或多可用区(通用文件系统) 单可用区/多可用区 数据可靠性 9个9 10个9 单AZ:11个9;多AZ:12个9 存储计费方式 按容量计费 SFS Turbo按容量计费/SFS通用文件系统按使用量计费 按使用量计费 以下是存储服务的选型原则: 业务适用原则