检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。详细信息请参考官网文档。
大数据参考架构 下图是典型的大数据架构,从数据集成、存储、计算、调度、查询和应用,构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程,企业可以根据实际需要选择云服务或自建大数据组件: 业务数据源: 业务数据源是大数据平台的数据输入来源,可以是传感器
需要企业建立覆盖涵盖全技术堆栈的纵深防御机制,将多种类型的安全控制应用于所有技术堆栈,包括网络边缘、VPC、云存储、ECS实例、操作系统、应用程序配置和代码等。
/云硬盘可通过CBR云备份服务实现整个云主机或者云硬盘的备份。
每个运维工程师可运维的资源数量 将每个运维工程师可管理的服务器数量提升 2 倍,从100台提升至200台。 父主题: 制定战略
公共资源管理:企业内部的公共IT资源,如DNS服务器、容器镜像库、CA证书机构、云盘等由中心IT部门统一部署和管理。集中管理可以避免资源的重复建设和闲置浪费,提高资源利用率,降低采购和维护成本。 通过以上各个方面的集中管理,企业可以显著提高IT管理的效率和一致性。
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据任务调度平台和组件,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议部署架构设计时,优先采用大数据云服务。如果目标云平台上没有对应的大数据任务调度组件
大数据集群设计 设计云上的大数据集群部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据集群,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议设计大数据集群部署架构时,优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件
若应用层实现了微服务架构,通过华为云CCE云容器引擎服务实现业务容器化部署,可通过CCE工作负载弹性伸缩能力实现APP业务的水平扩展,随着负载增加,APP业务POD能自动扩展,随着负载的降低,APP业务POD自动减容,支持配套应用性能监控(AOM)实现告警策略自动触发扩容或减容; 若应用层使用ECS
常用术语 华为云CAF涉及到很多IT和云计算领域的术语,不同读者对术语字面上的理解可能不一样,为避免对术语的误解,特制定如下术语表。 表1 术语列表 术语 解释 CAF 英文全称为Cloud Adoption Framework,是一个针对云化转型的端到端生命周期框架,涵盖云化旅程的所有阶段
竞价计费:适应于业务稳定性不高,中断也不影响业务的场景,目前仅ECS支持。 优化计费模式与节省成本 华为云提供计费模式的优化建议,帮助企业在不改变资源性能的情况下,通过调整计费模式来节省成本。
云上高可用方案 公有云上业务的可用性,由应用层的可用性,架构设计的可用性、云服务的可用性共同决定。业务可用性目标的达成是一项系统工程,公有云模式下,业务的可靠性取决于客户对整体业务架构的可用性设计、运维规范管理(如:备份机制、日常演练、人员操作规范等)。 图1 业务可用性方案 华为云上的绝大部分云服务都具备高可用性的方案
备份数据上传至OBS: EC2:使用OBS Browser/obsutil工具将备份文件(aof/rdb)上传至DCS所在的Region的OBS。 S3:创建OMS任务,将S3中的rdb备份文件迁移传输到DCS所在的Region的OBS。
安全架构设计 安全架构设计简介 安全责任共担 安全设计原则 安全参考框架 父主题: 顶层规划
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题: 采用实施
调研评估 概述 组建调研评估团队 基础设施调研 应用系统调研 大数据调研 调研方式 云服务选型 调研评估的反模式
设计迁移方案 迁移方案概述 接入层迁移方案 应用层迁移方案 中间件层迁移方案 数据层迁移方案 父主题: 应用迁移上云
可用性设计 可用性定义 AZ故障域说明 云上高可用方案 双AZ高可用设计 两地三中心高可用设计 跨AZ高可用设计示例 父主题: 应用架构设计
方案设计 概述 组建方案设计团队 基础环境设计 应用架构设计 大数据架构设计 制定6R策略 设计标签方案 上云试点 批次规划 成本预算计划 方案设计的反模式
顶层规划 概述 云卓越中心 卓越架构设计 Landing Zone设计 安全架构设计 平台工程 云运营模式 应用生命周期管理 云项目管理 顶层规划的反模式