检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据
务，为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。Elasticsearch是一个搜索引擎，可以实现单机和集群部署，并提供托管的分布式搜索引擎服务。在ELK整个生态中，Elasticsearch集群支持结构化、非结构化文本的多条件检索、统计、报表。详细信息请参考官网文档。
大数据 大数据是指规模庞大且复杂的数据集合，对于企业来说，如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面： 数据驱动决策：大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力，为决策提供支持。通过对历史数据和实时数
任务调研，包括待迁移的任务类型、任务数量、更新周期等。 本节重点介绍大数据平台、数据和任务的调研。 平台调研 大数据平台调研主要调研大数据集群、大数据任务调度平台和数据流向。 调研大数据集群 需要调研大数据集群的数量和功能划分，各个集群或组件负责的业务和处理的数据类型，处理实时/离线数据的组件及详细版本信息，数
传感器、网站日志、移动应用、社交媒体等各种数据源。通过数据采集和提取，将原始数据收集到大数据平台进行后续处理和分析。 数据集成： 数据集成是将来自不同数据源的数据进行整合和转换的过程。这包括数据清洗、数据预处理、数据格式转换、数据合并等操作，以确保数据的一致性和准确性。 数据存储：
大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储、计算
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、
数据层迁移实施 对象存储迁移 对象存储适用于存储非结构化的数据，我们日常生活中见到的文档、文本、图片、XML、HTML、各类报表、音视频信息等等都是非结构化数据。不同的量级对应了不同的迁移方式，如下图所示： 图1 对象存储迁移方案 表1 三种对象存储迁移方式说明 对象存储 迁移方式
），其中重点考虑可用性、可扩展性和性能，安全、成本和可运维性遵循基础环境的设计进行适配即可。 大数据架构设计：大数据的部署架构设计包括大数据集群部署架构设计、大数据任务调度平台部署架构设计和大数据应用部署架构设计，其中大数据应用的部署架构可以参考应用部署架构的设计方法。大数据架构设计同样要考虑架构设计的6要素。
成本预算计划 企业上云过程中，可以利用华为云的成本中心进行成本预算计划和管理。通过华为云的成本中心，企业可以实现对云开支的全面预算管理和监控，提高资源利用率，降低不必要的支出。合理的预算计划和持续的成本优化将有助于企业在云环境中获得更高的投资回报，实现业务的数字化转型目标。 制定预算计划时，可以参考以下内容：
代码、脚本和配置文件等。迁移工具和方法根据具体需求选择，例如使用离线数据传输工具、大数据迁移工具CDM等。 数据源接入 将目标大数据集群接入与原大数据集群相同的数据源。这确保了源数据的一致性。可以使用数据同步工具、ETL工具或自定义脚本等方式实现数据源的连接和数据同步。离线计算任
据迁移的风险，降低迁移方案复杂度，提高迁移效率。 大数据迁移通常按照主题域进行分批。主题域通常是按照业务功能划分，将有相似业务逻辑的关联数据集合到一起，比如销售主题域、供应链主题域、日志处理主题域等。每个主题域有专门的数据处理流程、分析模型和相关业务逻辑，以支持特定的业务需求和分
的MRS大数据集群的弹性IP、虚拟网络防火墙等策略配置；（2）配置访问控制策略，如弹性IP绑定的端口仅对信任的网络或主机开放，避免大数据集群直接暴露在互联网；（3）负责大数据集群的用户管理、大数据组件的安全配置，并且妥当保管相关的账户凭证；（4）以及对其部署在大数据集群上的应用进行安全管理。
告，基于安全云脑提供详细加固指导进行风险闭环管理。您可以进一步使用安全云脑全面清点各类资产的防护覆盖情况，统一管理各层防线的安全策略。 数据集成及安全分析 首先，将安全数据统一对接到安全云脑中，云服务日志一键接入，同时构建云上云下数据统一集成方案，接入第三方生态软件的日志。 其次
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
并为各项技术决策提供咨询。 数据架构师：由IT主管指派，来自IT部门的大数据团队，负责设计企业在云上的数据架构，包括数据存储、数据处理、数据集成和数据治理。 应用架构师：由业务主管指派，来自业务部门的应用团队，负责设计和管理业务系统在云上的应用架构，包括应用的架构模式、技术选型、
缩略语 表1 缩略语（按照字母顺序） 缩略语 英文全称 中文全称 AIOps Artificial Intelligence for IT Operations 智能运维 AOM Application Operations Management 应用运维管理服务 ALM Application
具备良好的沟通能力、团队合作精神和领导力。 企业架构师团队或者外聘 数据架构师 负责设计和管理企业在云上的数据架构，包括数据存储、数据处理、数据集成和数据治理。 选择合适的数据存储方案，例如关系型数据库、NoSQL数据库、数据仓库等。 确保数据的质量、安全性和合规性。 与应用架构师和
监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。 数据安全和权限管理：审查和加强数据的访问控
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
