检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云大数据组件 常用的华为云大数据服务组件如下,设计大数据部署架构时可参考: MapReduce服务(MapReduce Service,简称MRS) MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群,完全兼容开源接口,轻松运行Hadoop、
安全运营框架 华为云基于自身多年的安全运营实践经验和帮助大量客户持续安全运营的经验,基于华为云提供的安全云脑服务总结了如下安全运营框架和流程,您的企业可以将其作为起点设计符合企业要求的安全运营框架及流程。 图1 安全运营框架 划分安全运营职责 首先,根据企业设计的云运营模式,明确
施即代码、自动化部署、测试验证和自动化运维任务,建立全面的监控、日志记录和告警机制。通过精心设计的操作流程、变更管理和持续改进方法,企业能够快速响应变化,减少错误,提升团队协作效率,确保业务目标的实现。 关于华为云Well-Architected Framework的详细内容,请
环境检查 切换前需确保源端、目的端、迁移任务状态正常,执行脚本准备就绪。 源端检查:首先,检查是云专线同步带宽是否有超带宽的告警,评估是否需要进行带宽的扩容,其次,对源端应用和数据库进行告警监控等的观测,确保源端告警清理,状态均正常。 目的端检查:通知云厂家进行资源日常状态的
服务,如华为云RDS、GaussDB等。另外,还需要考虑如何处理跨多个微服务的数据事务和数据一致性问题。一种常见的方法是使用分布式事务管理器(如Saga模式),以保证微服务之间的数据操作具有一致性和原子性。 实施监控和日志记录: 对于微服务架构,实施全面的监控和日志记录是非常重要
华为云上的应用层和数据层内部域名等配置修改,重启华为云上的应用服务; 外部DNS域名解析,将解析地址从源端接入层切换到华为云接入层,使外部流量进入华为云; 图2 一把切方案 应用层灰度切流,数据层整体切换 应用层灰度切流前做好如下准备工作: 源端应用层已迁移或部署到华为云; 华为云应用层跨云访问源端数据库
信息安全负责 所有账号下安全资源(安全云脑、HSS、DSC、DBSS等)的管理权限 合规审计组 统一查看所有账号的审计日志和安全相关的日志(如VPC流日志和OBS访问日志等) 日志账号的Tenant Administrator权限 所有其他账号下的Tenant Guest权限 网络管理组
复杂的计算和分析任务。 数据查询和分析: 对于大量的存储在大数据平台中的数据,需要提供灵活且高性能的查询和分析能力。这可以通过使用SQL查询引擎(如Hive)或分布式数据库(如Elasticsearch)等实现。这些工具和系统支持在海量数据集上进行查询、聚合和可视化,以提供数据洞见和决策支持。
管理服务(AOM),集中监控微服务的性能指标,如响应时间、错误率和调用次数等,帮助快速定位和解决问题。您可以采用日志服务(LTS)收集和分析系统日志和应用日志,支持日志检索、告警和报表功能,方便故障排查和性能分析。此外,您还可以使用应用性能管理(APM),监控应用的调用链路,分析性能瓶颈,定位异常请求,提升应用性能。
防护能力,华为云为客户提供了华为云安全配置基线指南。该指南包括身份与访问管理、日志与监控、虚拟机与容器、网络、存储、数据库、企业智能等方面的安全配置,但并不是所有可能的安全配置的详尽列表。建议您将该指南作为一个起点,并根据实际需要在此基础上进行补充或裁剪。 按照华为云安全配置基线
修改应用间访问的内部域名-》华为云上应用实例 7.1 修改目的端redis的内网域名-》华为云实例IP 7.1 修改目的端的MySQL的内网域名-》华为云实例IP 7.1 修改目的端MongoDB的内网域名-》华为云实例IP 7.1 修改目的端消息队列MQ的内网域名-》华为云实例IP 7.1
系统监控和运维:设置系统监控和告警,确保及时发现和解决潜在的问题。配置基础设施监控工具,监测服务器、存储、网络等关键指标,并确保日志记录和错误报警机制正常运行。 安全检查和漏洞修复:进行安全检查,查找可能存在的漏洞或弱点,并采取适当的补救措施来加强安全性。更新和修补系统和软件,确保使用的组件和版本都是最新的,并及时应用安全补丁。
图2 各账号VPC网络的连通性矩阵 日志账号是集中存放审计日志和运行日志的地方,主要使用了华为云的CTS服务、LTS服务和OBS服务,该三个服务没有租户面IP地址,所以不需要考虑与其他账号的VPC进行互通。沙箱账号是一个允许客户任意测试华为云资源和控制策略的地方,包括VPC的功能
和多因子验证 (MFA),规范使用安全传输协议与华为云资源通信,并且设置用户活动日志记录用于监测和审计。 租户负责对其自行部署于华为云上、不属于华为云提供的各项应用和服务所必需的合规遵从,并自行开展所服务行业的安全标准评估。华为云提供安全基线配置指南,供租户配置参考。 需要注意的
应用运维管理AOM、COC、云日志服务LTS、应用性能管理APM、云堡垒机CBH等 日志账号 集中存储和查看所有账号的审计日志和安全相关的日志(如VPC流日志和OBS访问日志等) 合规审计团队 云审计服务CTS、云日志服务LTS、、配置审计服务Config、对象存储服务OBS等 数据平台账号
审计人员以日志账号为中心对所有成员账号进行统一的操作审计,而无需逐个登录到成员账号,如下图所示。统一的操作审计包括对所有成员账号统一配置追踪器和关键操作通知。 在日志账号的CTS中统一创建组织追踪器,汇聚各个成员账号中CTS收集的审计日志,配置将组织追踪器的审计记录转储到日志账号的LTS中。
Hadoop数据迁移到华为云MRS服务 如图所示,将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务
导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景) Hbase历史数据 使用华为云CDM工具迁移所有历史数据到华为云MRS服务
迁移至华为云OBS,在业务切换后,再进行一次全量迁移,本次全量迁移,将自动跳过已经迁移的对象,将剩余增量数据迁移至华为云OBS。 在对象存储迁移服务中,可以查看迁移任务、管理迁移任务,创建迁移任务组,评估桶内数据,查看审计日志等,具体内容请查看OMS帮助文档。 图2 对象存储迁移服务
跨AZ被挂载到多个ECS,而SFS支持)。 对于需要频繁读写大量日志、且需要对日志做汇总分析的应用,建议优选SFS作为多节点共享的日志统一存储(具体类型根据性能需要选择)。 异步交互/对时延不敏感的业务,优选OBS存储,节省成本;若业务难以适配改造,则可以考虑SFS通用容量型替代。