检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据架构师:由IT主管指派,来自IT部门的大数据团队,负责设计企业在云上的数据架构,包括数据存储、数据处理、数据集成和数据治理。 应用架构师:由业务主管指派,来自业务部门的应用团队,负责设计和管理业务系统在云上的应用架构,包括应用的架构模式、技术选型、部署方式等,确保应用的性能、可扩展性、安全性和可靠性。
大数据 大数据是指规模庞大且复杂的数据集合,对于企业来说,如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面: 数据驱动决策:大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力,为决策提供支持。通过对历史数据和实时数
3写服务关停方案实施,实现只读不写的效果。 图3 应用改造方案 中间件层/数据层配置只读 中间件层和数据层收回业务账号写权限,不允许服务写中间件层/数据层的操作。 图4 中间件和数据只读方案 父主题: 设计切换方案
和性能。 未考虑合规性和法律要求 在设计云上部署架构时,未考虑数据存储和访问的合规性要求,可能导致法律风险和数据泄露问题。 优化建议:在设计上云方案时,确保了解相关的法律法规和合规要求,建立数据治理和安全策略,确保数据的存储、访问和处理符合当地法规。 通过识别和避免这些反模式,并
应用层迁移方案 应用层通常部署在物理机、虚拟机或容器内,应用的类型包括有状态和无状态两种。应用的部署方式和应用状态是应用层迁移方案设计时需要考虑的因素,不同的部署方式和应用状态适用的迁移方案不同。 平迁部署在主机上的应用 传统架构的应用,通常部署在物理机或虚拟机,建议优先通过华为
虽然标签有长度规格上限,但尽量不要每个标签都达到标签规格上限,标签长度能标明含义即可。 提前识别标签的应用场景,比如成本管理、运维和自动化、细粒度权限控制、数据分类、安全运营等,并据此制定标签键值规范,下面会介绍。 标签键值规范 根据标签设计原则制定企业范围内的标签键值规范,所有用户在给云资源打标
Redis实例中的数据用作缓存 业务切换时,为防止Redis后端的数据库被击穿,可基于数据库性能判断使用哪种迁移方案: 方案1:不迁移,将Redis缓冲数据提前预热 方案2:使用Redis迁移方案迁移缓冲数据 Redis实例中的数据是持久化的,作为数据库使用 使用Redis迁移方案迁移持久化数据
大数据调研 平台调研 数据调研 任务调研 父主题: 调研评估
TB 数据分层 调研数据分层主要用于迁移优先级和数据校验标准。 数据接入层、中间层、结果层 数据权限 根据源端数据权限控制组件的不同,选择不同的权限数据迁移方式 Sentry、Ranger等 数据重要性 调研数据重要性的目的是区分核心数据和非核心数据,用于迁移优先级和数据校验标准。
管理生命周期:标记资源的生命周期信息,以便于规划资源的启动和删除,辅助运维人员进行资源管理。 合规性和安全性:安全运营人员可以根据应用数据的敏感度对资源配置标签,确保应用和数据遵循相应的安全和隐私法规,或内部/外部的审计需求。 协助故障排除:运维人员可以利用标签快速定位受影响的资源,加速问题的诊断和解决过程。
部署 大数据平台部署 大数据平台的部署可以参考如下方法: 大数据集群部署 基于架构设计的原则,云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务,轻松运行Hado
间件层和数据层来设计,包括每一层的云服务技术选型,同时还要考虑架构设计的6要素(即:可用性、性能、可扩展性、安全、成本、可运维性),其中重点考虑可用性、可扩展性和性能,安全、成本和可运维性遵循基础环境的设计进行适配即可。 大数据架构设计:大数据的部署架构设计包括大数据集群部署架构
平台工程 什么是平台工程 如何构建平台工程 父主题: 顶层规划
解决方案数字化平台”进入Haydn解决方案数字化平台首页,在页面右下角点击“解决方案加速场>架构模板”可进入架构模板页面。 支持输入架构模板名称、适用行业、适用场景等关键字对架构模板进行查找; 支持按照模板类型、部署环境、适用行业、适用场景对架构模板进行过滤筛选,您也可以在适用行
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题: 采用实施
制定预算计划时,可以参考以下内容: 基于历史成本数据进行预测:使用成本中心的成本分析功能,根据历史支出预测未来时间范围的成本。 基于业务驱动因素进行预测:基于未来的业务需求(如扩容、大促、新业务上线等),进行未来成本的变动估算。 基于历史数据和未来业务需求,制定出最终的预算计划。 华为
用程序从使用本地数据库迁移到使用云数据库服务。这通常不涉及修改核心应用程序代码。 希望利用云平台的PaaS服务,例如数据库、消息队列等,以减轻自建数据库和消息队列的运维压力。 需要提高应用程序的性能或可扩展性。 不需要进行大规模代码修改,但希望优化应用程序在云平台上的运行。 Rearchitect
设计:设计大数据的部署架构、数据迁移方案、任务迁移方案和数据校验方案。 部署:部署大数据平台,包括集群部署和任务调度平台部署。 迁移:实施数据迁移和任务迁移。 验证:进行数据校验和任务验证。 切换:配合大数据应用进行切换。 保障:业务切换后进行一段时间的实时监控和特别运维保障。 请参考大数据调研的调研方法
Gartner在2023年和2024年连续将其列为十大重要战略技术趋势,并预测到2026年将有80%的大型软件工程组织将建立平台团队为开发者提供可重用的服务、组件和工具。平台工程对企业带来的价值如下: 提升开发者体验: 平台工程提供自助服务功能,简化了基础设施配置、应用部署和管
如何构建平台工程 在云平台上构建平台工程,可以充分利用云平台提供的丰富服务和工具,降低构建和维护成本,并提高IDP的可靠性和可扩展性。以下是一些关键步骤。 明确平台工程的目标和需求 平台工程的核心目标是通过构建自助式内部开发平台(IDP),优化软件交付和生命周期管理,提高开发效率