华为云大数据组件 常用的华为云大数据服务组件如下,设计大数据部署架构时可参考: MapReduce服务(MapReduce Service,简称MRS) MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群,完全兼容开源接口,轻松运行Hadoop、Spark
应用系统调研 调研应用全景图 调研应用部署架构 调研应用关联关系 调研应用上云需求 父主题: 调研评估
为什么需要Landing Zone 为了实现业务单元的安全和故障隔离,华为云的推荐做法是将不同业务单元的应用系统分别部署在不同的账号中。华为云账号具备以下三个属性。
) 是 否 相关人员准备 项目经理 人员最后一次熟悉整体切换流程以及各自操作指导 是 否 相关人员操作权限检查 ALL 人员登录操作环境检查操作权限(登录系统,OS,操作界面等) 是 否 测试团队 ITSM是否可以正常登录?
可观测平台:有些企业有构建应用可观测平台,比如Datadog、华为云APM等,通过可观测平台可以发现应用间的调用关系,也可以用于输出应用全景图。 调研访谈:与每个业务域的负责人进行访谈,并记录该业务域的系统和应用信息。每个业务域都调研完以后,再绘制全景图。 父主题: 应用系统调研
软件成本 操作系统、虚拟化、数据库、中间件等软件的许可证费用。 机房成本 如果是自建机房,包括机房的建设和装修成本、安保系统(包含视频监控和门禁设备等)的建设成本、电力供应系统和冷却系统的建设成本。如果是租赁IDC机房,主要是机架租赁成本,这个属于运营支出。
访问日志等) 合规审计团队 云审计服务CTS、云日志服务LTS、、配置审计服务Config、对象存储服务OBS等 数据平台账号 集中部署企业的大数据平台,将其他账号的业务数据统一采集到数据平台进行存储、处理和分析 数据处理团队 数据湖、大数据分析平台、数据接入服务、数据治理平台 沙箱账号
图3 演练环境 若企业源端有测试或预生产环境可以用作演练的源端,则只需在华为云搭建一套目的端即可。演练的目的端也可以复用华为云的生产环境,但是需要注意和生产环境要做好隔离,否则可能演练过程影响生产,造成重大事故。
建议您使用企业自己的身份管理系统与华为云IAM身份中心(IAM Identity Center)进行联邦身份认证,基于SCIM(System for Cross-domain Identity Management)协议将企业自己的身份管理系统中的用户同步复制到华为云的IAM身份中心
表2 主机信息调研表示例 主机名 主机类型 (ECS/物理机) 规格 CPU (core) 内存(GB) 操作系统版本 系统盘类型 系统盘大小(G) 数据盘类型 数据盘大小(G) 私网IP 公网IP 此处仅给出表头信息作为参考。 表格具体内容请按业务实际情况进行补充。
数据层:包括数据库、对象存储、文件系统,数据库一般通过华为云的数据迁移工具DRS做迁移,对象存储一般通过华为云对象存储迁移工具OMS做迁移,文件系统一般通过Rsync等迁移工具来迁移。
该安全框架完全遵守了纵深防御原则,将各种安全防护措施有机组合起来,针对保护对象(企业的关键业务系统和核心数据),因地制宜的部署合适的安全措施,形成多层安全防线,各层安全防线能够相互支持和补救,避免攻击者突破单层防线后畅通无阻,层层阻击,为防御方检测响应赢得时间。
其次,由于云平台提供了云原生的DevOps开发工具链,如华为云提供的CodeArts,而且华为云提供的云服务都对外开放了很多API,您完全可以基于这些云原生的工具链和API进行应用系统的开发及测试,并通过流水线将应用系统直接部署在云平台上的预生产环境和生产环境。
父主题: 应用系统调研
概述 云计算从根本上改变了IT基础设施和应用系统的建设、运维和管理方式。传统模式下,组织通常需要购买、安装和运维自己的硬件和软件,包括服务器设备、存储设备、网络设备、虚拟化软件、操作系统、数据库管理软件和中间件等IT基础设施,资源部署周期长,运维负担重,初始投资大。
需要企业建立覆盖涵盖全技术堆栈的纵深防御机制,将多种类型的安全控制应用于所有技术堆栈,包括网络边缘、VPC、云存储、ECS实例、操作系统、应用程序配置和代码等。
将源端服务器的系统盘和数据盘分别制作私有镜像,上传至华为云OBS对象存储服务中,在IMS镜像服务中,使用上传的外部镜像文件制作成私有镜像,最后使用私有镜像发放云服务器,完成整机迁移。迁移后的主机操作系统、系统配置,数据文件与源端服务器完全一致。
通过第一次全量任务,将源端对象存储全量数据迁移至华为云OBS,业务切换时,在华为云配置回源规则,将部分增量数据,通过回源的方式迁移至华为云OBS,在业务切换后,再进行一次全量迁移,本次全量迁移,将自动跳过已经迁移的对象,将剩余增量数据迁移至华为云OBS。
图4 CMDB法 图5 CMDB法示例 关联分析工具法:可以通过专门的关联分析工具进行关联分析,比如华为云的MgC工具,也可以采用业界的一些关联分析工具。
华为云MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。具体部署方法可参考MRS官网文档。
您即将访问非华为云网站,请注意账号财产安全