检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据
征提取、机器学习、数据挖掘等复杂的计算和分析任务。 数据查询和分析： 对于大量的存储在大数据平台中的数据，需要提供灵活且高性能的查询和分析能力。这可以通过使用SQL查询引擎（如Hive）或分布式数据库（如Elasticsearch）等实现。这些工具和系统支持在海量数据集上进行查询
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
源过度配置或资源闲置导致，并根据根因进行扩大预算或者优化资源使用。 使用成本中心的成本监控，您可以及时识别成本的异常增长。 成本监控引入机器学习，对客户历史消费数据进行建模，对于不符合历史数据模型的成本增长，识别为异常成本记录，同时提供异常增长的Top潜在原因。 客户可设置监控提
大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估
大数据 大数据是指规模庞大且复杂的数据集合，对于企业来说，如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面： 数据驱动决策：大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力，为决策提供支持。通过对历史数据和实时数
大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、
据迁移的风险，降低迁移方案复杂度，提高迁移效率。 大数据迁移通常按照主题域进行分批。主题域通常是按照业务功能划分，将有相似业务逻辑的关联数据集合到一起，比如销售主题域、供应链主题域、日志处理主题域等。每个主题域有专门的数据处理流程、分析模型和相关业务逻辑，以支持特定的业务需求和分
能业务创新、与业务结合并推动业务现代化的几个方面： 自动化和智能决策：AI技术可以通过自动化和智能决策来提升业务效率和准确性。例如，利用机器学习算法，企业可以自动处理大量的数据，识别模式和趋势，进行预测分析和决策支持。这有助于加快业务流程，减少人力资源消耗，并提高决策的准确性和效果。
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施
任务调研，包括待迁移的任务类型、任务数量、更新周期等。 本节重点介绍大数据平台、数据和任务的调研。 平台调研 大数据平台调研主要调研大数据集群、大数据任务调度平台和数据流向。 调研大数据集群 需要调研大数据集群的数量和功能划分，各个集群或组件负责的业务和处理的数据类型，处理实时/离线数据的组件及详细版本信息，数
大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储、计算
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
并为各项技术决策提供咨询。 数据架构师：由IT主管指派，来自IT部门的大数据团队，负责设计企业在云上的数据架构，包括数据存储、数据处理、数据集成和数据治理。 应用架构师：由业务主管指派，来自业务部门的应用团队，负责设计和管理业务系统在云上的应用架构，包括应用的架构模式、技术选型、
格的要求。企业需要投入大量的资源来满足不同地区和行业的合规标准，增加了管理负担。 更为严峻的是，攻击手段日益复杂化。攻击者利用人工智能和机器学习技术，加速了攻击工具和方法的迭代，手法新颖多变。例如，APT攻击（高级持续性威胁）是指隐蔽而持久的网络攻击，攻击者通常是拥有强大资源的组
代码、脚本和配置文件等。迁移工具和方法根据具体需求选择，例如使用离线数据传输工具、大数据迁移工具CDM等。 数据源接入 将目标大数据集群接入与原大数据集群相同的数据源。这确保了源数据的一致性。可以使用数据同步工具、ETL工具或自定义脚本等方式实现数据源的连接和数据同步。离线计算任
），其中重点考虑可用性、可扩展性和性能，安全、成本和可运维性遵循基础环境的设计进行适配即可。 大数据架构设计：大数据的部署架构设计包括大数据集群部署架构设计、大数据任务调度平台部署架构设计和大数据应用部署架构设计，其中大数据应用的部署架构可以参考应用部署架构的设计方法。大数据架构设计同样要考虑架构设计的6要素。
以华为云MapReduce服务（MRS）为例，租户应负责：（1）管理其购买的MRS大数据集群的弹性IP、虚拟网络防火墙等策略配置；（2）配置访问控制策略，如弹性IP绑定的端口仅对信任的网络或主机开放，避免大数据集群直接暴露在互联网；（3）负责大数据集群的用户管理、大数据组件的安全配置，并且妥当保管相
监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。 数据安全和权限管理：审查和加强数据的访问控
表1 FinOps团队的角色和职责 角色 职责 技能要求 来源 FinOps教练 指导和培训团队成员理解和应用FinOps原则和最佳实践，不断学习云成本优化的新方法并进行推广。 协助制定和实施云成本管理策略，确保各部门在预算内高效使用云资源。 促进跨部门协作，推动成本优化和资源利用率提升。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
