检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设计 大数据在云上的部署架构设计请参考大数据架构设计，本节不再赘述。这里重点介绍数据迁移方案和任务迁移方案的设计。 设计数据迁移方案 大数据的数据迁移涉及到3类数据，如下表： 表1 大数据迁移的三类数据 分类 说明 元数据 Hive元数据或外置元数据 存量数据 历史数据，短期内不会变化
部署 大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hado
迁移 数据迁移 Hadoop数据迁移到华为云MRS服务 如图所示，将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
成本控制 通过预算管理，跟踪未来资源用量和费用执行 云资源按需灵活扩展，云成本在用云过程中不再固定不变。为了避免意外账单，需要在用云过程中精细化控制，对风险事项建立监控预警机制和应对机制，一旦产生预警则及时应对，避免产生异常高成本。在发生异常时，分析根因也至关重要。如发现异常成本
成本优化 选择合适的计费模式 华为云为客户提供了按需、包年包月、资源包、竞价实例等多种计费模式，不同的计费模式有着不同的适用场景。企业合理利用云资源的不同计费模式，来适配不同的业务形态，可以有效降低费率，实现成本节省。 按需计费：适用于临时、突发的业务场景。 包年包月：通过预付一
云服务选型 计算服务选型 存储服务选型 网络服务选型 父主题： 调研评估
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储
保障 在大数据迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。
概述 安全防护三分在于技术，七分在于运营。安全运营是指在云计算环境中，通过持续监控、检测、响应和改进，确保云资源、数据和应用的安全性。这种方法强调安全防护是一个持续的过程，而不是一次性的任务。只有通过持续的、有效的安全运营才能将多道安全防线有效协同起来，共同保障业务系统的安全稳定
分析云化收益 基于前面制定的云化目标，您接下来还需要对其进行收益分析，将其转换为财务收益，以便进行项目ROI评估，为管理层的战略决策提供依据。下面根据前面推荐的7个云化目标分别进行财务收益的评估，汇总后就能得到整个云化转型项目的总收益。 提升业务系统的可用性SLO 通过提高业务系
云治理专家 识别和评估云化转型的各种风险，并制定相应的缓解措施。 制定和维护云治理框架，包括策略、标准、流程和指南，推动云治理最佳实践的落地和执行。 确保云治理策略与业务目标对齐。 持续优化云治理框架，以适应不断变化的业务需求和技术发展趋势。 监控云环境的合规性和安全性。 深入理解
了解大数据集群的高可用性和容错机制，包括故障恢复、备份策略、容灾方案等。 调研大数据任务调度平台 需要调研大数据任务调度平台的类型、版本、支持的大数据框架和技术，调度任务类型，可视化和管理界面，扩展性和集成性，容错和故障恢复，安全性和权限控制以及社区支持和文档资料等方面的信息。用于后续大数据调度平台的选型和方案设计。
任务调研 任务调研主要包括如下方面： 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler，Hera、Crontab等。 任务类型 基于编程语言分类： Jar类：常用于MRS、Flink、Spark等 SQL类： 常用于Hive、Spark、UDF等
人工智能 人工智能是模拟人类智能的技术和方法，在各个领域都发挥着重要作用。以下是AI如何使能业务创新、与业务结合并推动业务现代化的几个方面： 自动化和智能决策：AI技术可以通过自动化和智能决策来提升业务效率和准确性。例如，利用机器学习算法，企业可以自动处理大量的数据，识别模式和趋
安全配置基线 安全配置是信息系统的最小安全保障，云安全配置是云环境最基本的安全保证，是开展安全防护和安全运营的基础。 如果云服务没有达到安全配置基线要求，云上业务及资产将面临巨大安全风险。为了帮助客户提高云环境的安全防护能力，华为云为客户提供了华为云安全配置基线指南。该指南包括身
评估云化成熟度 云化成熟度评估模型 云化成熟度评估步骤 父主题： 制定战略
战略制定的反模式 在云化战略的制定过程中，一些常见的反模式可能会阻碍云化转型的成功，甚至导致企业资源的浪费和业务的中断。识别并避免这些反模式，对于确保云化转型取得成功至关重要。以下是几种常见的反模式，以及对应的优化建议。 云化战略与业务战略没有对齐 这种反模式表现为云化转型缺乏与
基础设施调研 基础环境调研的主要是企业当前的IT基础架构的现状和上云需求，包括资源信息、组网信息、安全架构、运维架构、访问权限管控、资源计量计费等。调研的方式主要是从IT系统导出（如CMDB、CMP、虚拟化管理软件），并结合问卷访谈。基础环境的调研主要是找企业的运维团队。调研人员
应用架构设计 应用部署架构概述 可用性设计 可扩展性设计 性能设计 应用部署参考架构 父主题： 方案设计
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
