检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据
迁移工具部署 华为云提供的迁移工具有：迁移中心（Migration Center, MgC）、资源发现与评估工具（RDA）、主机迁移工具（SMS）、数据复制工具（DRS）、Redis数据迁移工具、云数据迁移工具（CDM）、对象存储迁移工具（OMS）等。 迁移中心（MgC）：是一站
MapReduce服务（MapReduce Service，简称MRS） MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群，完全兼容开源接口，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，并具备在后续根据业务需要进行定制
大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Ka
全性和权限控制，高可用性和容错机制，扩展性和弹性等。 调研大数据集群数量和功能划分：例如Hadoop集群、Spark集群、Hive集群等，并根据业务需求划分它们的功能，如存储集群、计算集群、查询集群等。 调研各个集群或组件负责的业务范围，以及它们处理的数据类型和数据流转的方式。
规范组件的升级和维护流程，确保组件的持续优化和迭代。 建立完善的监控和运维机制 为了保障平台和应用的稳定运行，需要建立覆盖基础设施、平台服务和应用层面的监控和运维机制。您可以利用应用运维管理服务（AOM），集中监控微服务的性能指标，如响应时间、错误率和调用次数等，帮助快速定位和解
数据迁移 Hadoop数据迁移到华为云MRS服务 如图所示，将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁
计划跟踪所需粒度的云支出，及时获取超预算提醒，或定期周知最新进展 管理账单与控制成本 资金管理 监控可用额度，跟踪支出异常 资源包管理 监控资源包是否即将用尽 账单管理 了解各帐期的实际消费与支出，多维对账 成本监控 监控云支出的异常增长，减少异常账单 成本分配与可视化 成本分析（含分析报告） 了解成本趋势与分布，洞察成本变化的驱动因素
大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储、计算和管
境在业界也叫做LandingZone（着陆区），基础环境设计包括6个方面，即账号和权限设计、整体网络设计、整体安全设计、资源治理设计、运维监控设计、财务管理设计。 应用部署架构设计：应用部署架构是应用在云上的技术架构，应用部署架构要从接入层、应用层、中间件层和数据层来设计，包括每
设施的可重复性、版本控制和自动化部署，从而提高整个环境的稳定性和可靠性。 集中日志和监控：通过集中管理日志和监控数据，可以实时了解系统运行状况，并及时发现和解决问题。选择适当的日志管理和监控工具，并定义关键指标（KPIs）和警报规则，以确保系统的可用性和性能。 容器化和微服务架构
ManageEngine是一个应用程序管理器的工具。这是一个通用服务器和应用程序监控工具，它支持对服务器和数据库、虚拟机、应用程序、Web服务和其他组件的监控。 Datadog 商用 Datadog是一款具有应用程序监控和映射功能的性能监控工具。它可以在整个基础架构中收集信息，包括匹配
在大数据迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。 数
维管理。 监控和优化云资源的使用效率，确保资源分配合理。 处理虚拟机、存储和操作系统相关的故障，保障系统的高可用性。 定期进行系统补丁更新和安全加固。 熟悉主流云平台的虚拟机和云存储服务。 掌握Linux和Windows操作系统的管理与优化。 熟悉云原生的监控运维工具。 具备一定的脚本编写能力。
在上云迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 云平台监控：确保建立有效的监控系统，跟踪云平台的性能、可用性和安全性。设置警报机制，及时发现并解决潜在的问题。 系统监控和运维：设置系统监控和告警，确保及时发现和解决潜在的问题。配置基础设施监控工具，监测服务器、存储、网络等关键指标，并确保日志记录和错误报警机制正常运行。
减容，支持配套应用性能监控（AOM）实现告警策略自动触发扩容或减容； 若应用层使用ECS进行部署，则可通过华为云弹性伸缩服务AS，设置对应的伸缩策略，随业务实现水平扩缩容。 中间件层可扩展设计要点 消息中间件层：华为云DMS RabbitMQ专享版底层是集群环境，随着消息处理量和负载的增加，可以平滑的扩大规格。
配合云安全专家完成安全技术方案的落地与优化。 编写安全运维脚本，提升安全运营效率。 熟练使用云平台的安全运营服务和各种安全监控工具。 掌握威胁检测技术、漏洞扫描工具和补丁管理流程。 熟悉日志分析工具和自动化脚本语言（如Python、Shell）。 了解云平台的安全配置（如安全组、防火墙规则）。 具备快速响应和处理安全事件的能力。
熟悉主流的云平台及云服务。 熟练使用自动化测试工具，能够编写自动化测试脚本。 能够与周边团队有效沟通和协作。 业务部门 应用运维管理员 负责云上业务系统的部署、监控和维护，确保业务系统的安全稳定运行。 处理应用运行中的故障，优化应用性能。 配合开发团队进行应用的版本更新和发布。 监控应用日志，分析并解决潜在问题。
性。 实施监控和日志记录： 对于微服务架构，实施全面的监控和日志记录是非常重要的。使用适当的监控工具和日志系统，收集和分析每个微服务的指标和日志，以及整体系统的性能和故障信息。这将帮助您快速发现和解决潜在的问题，并保证系统的可用性和稳定性。您可以利用云提供商所提供的监控和日志服务
可以使用容器编排工具，如Kubernetes。通过编写配置文件或使用命令行工具，定义容器的部署和运行方式。 网络和存储配置：配置容器之间的网络通信和访问外部资源的方式。确保容器可以与其他容器、数据库、消息队列等进行交互，并确保数据持久性和可靠性。 安全性和监控：确保容器化环境的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
