检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云大数据组件 常用的华为云大数据服务组件如下，设计大数据部署架构时可参考： MapReduce服务（MapReduce Service，简称MRS） MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群，完全兼容开源接口，轻松运行Hadoop、
构的设计，帮助企业上好云、用好云。 应用部署架构按照各个组件的功能，一般可以抽象出四个层级：接入层、应用层、中间件层、数据层。 图1 应用的四层部署架构设计 接入层：为外部访问提供了访问入口，云上业务部署在VPC私有网络中，与外部网络是隔离的，当外部需要访问VPC业务时，通常可以通过如下两种方式：
通过合适的授权和认证机制来保护微服务的安全性，限制对敏感数据和功能的访问。 引入容器化技术： 微服务架构通常使用容器化技术进行部署和管理，最常见的是使用Docker容器。将每个微服务打包到独立的容器中，以便更好地隔离和部署。使用容器编排工具（如Kubernetes）来自动化容器
应用迁移的调研信息是由粗到细、逐步迭代的，持续整个上云周期，在前期主要是调研应用的全景图，在迁移阶段，要打开每个应用，调研详细的部署架构和组件信息。应用的调研需要找各业务域的应用架构师和应用运维管理员。 应用全景图的调研是在评估规划阶段进行的，一般按照业务域->业务系统->应用模块逐层打开，如下图：
内部/外部域名 WAF 备注 也可参考下图绘制应用的部署架构图： 调研方式如下图所示： 图1 调研方式 调研技术组件的详细信息 调研单个应用的部署架构所涉及的各个技术组件（包括主机、数据库和中间件等）的详细信息，包括资源规格、版本、容量、配置等，如下表格所示。 表2 主机信息调研表示例
下图是典型的大数据架构，从数据集成、存储、计算、调度、查询和应用，构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是传感器、网站日志、移动应用、社交媒体等各种数据源。
C）。 应用迁移方案要基于应用的四层架构来设计，分别设计每一层的迁移方案，如下图： 图2 应用迁移过程 接入层：通常是负载均衡、网关代理等组件，一般通过重新配置的方式实现迁移。 应用层：通常部署在主机或容器上，部署在主机上的应用一般通过华为云主机迁移工具SMS来迁，部署在容器上的
成本分析 成本分配驱动业务方承担财务责任 成本分配支撑企业将成本分配到各业务团队中，使得各业务团队的成本清晰可见。根据清晰的成本，业务部门可准确定价，并平衡成本、稳定性和性能，经济高效的提供领先方案。企业管理者基于数据决策各业务的云开支， 保障核心业务和战略业务方向的支出，不超支，不浪费。
Trust Principle） 遵循“永不信任，始终验证”的安全理念，假设任何人或程序都不可信，无论是内部用户、外部用户还是网络设备。系统内的组件进行任何通信之前都将通过显式的验证，减少系统信任带来的攻击面。零信任把现有的基于实体鉴别和默认授权的静态信任模型（非黑即白），变成基于持续
开发与运维现代化 通过DevOps实践，可以实现开发与运维的现代化。下面是一些步骤和实施建议： 文化转变：首先，要实现开发与运维的现代化，需要在组织中建立一个强调合作与共享的文化。开发团队和运维团队应该互相信任、合作，并且共同追求系统稳定性和持续交付。 自动化：自动化是DevOps的核心原
您需要对企业内部的公共组件和服务进行梳理和沉淀，这是提升平台工程价值的关键。首先，您需要识别企业内部被多个应用系统共用的软件组件，例如认证组件、日志组件、消息组件等，对这些组件进行标准化，确定接口定义、数据格式和错误处理机制，确保组件的一致性和可复用性。然后，将这些公共组件封装成独立的微
大数据集群组件，部署架构设计时，可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据集群组件，但兼容性较差，经评估可能需要较大的改造工作量，部署架构设计时，可以考虑继续采用自建的方案。 最小改造原则：如无特别的业务驱动，要尽量避免进行大规模改造。大数据集群的组件要1：1对标
即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。具体部署方法可参考MRS官网文档。 大数据任务调度平台部署 如果目标架构是采用华为云的任务调度平台DataArts Studio，可以参考如下官网文档进行部署和配置。
性能优化: 挖掘现有资源的性能潜力，包括数据库查询优化、代码优化、使用缓存和CDN加速等，提升系统吞吐量和响应速度。 架构优化: 采用更有效率的架构模式。例如，使用异步处理和消息队列解耦系统组件，提高并发处理能力。 云化转型的技术驱动力为企业的IT战略和技术架构带来了深刻的变
平台数据接入源。 数据流入方式（如：实时数据上报、批量数据抽取）。 分析大数据平台数据流向，数据在平台内各个组件间的流向，例如：数据采集组件类型、采集组件下一层、存储数据组件，数据处理过程中的工作流等。 图2 数据流示例 父主题： 大数据调研
调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平台上没有对应的大数据任务调度组件，部署架构设计时，可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据任务调度组件，但兼容性
大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储、计算和管理组件）迁移到新的运行环境，包括集群的重新配置和数据迁移。集群迁移需要考虑数据的迁移方式、网络传输速度、兼容性和数据一致性等因素。 大数据任务调
虑如下方面： 跨AZ部署：将应用程序的不同组件部署在多个AZ中，以确保即使一个AZ不可用，其他AZ中部署的组件仍能正常运行，企业可以使用云服务提供商的工具或容器编排工具来简化多AZ部署的管理。 负载均衡：使用负载均衡将流量分发到不同AZ中的应用程序实例，可以设置合适的转发策略，避
2）配置访问控制策略，如弹性IP绑定的端口仅对信任的网络或主机开放，避免大数据集群直接暴露在互联网；（3）负责大数据集群的用户管理、大数据组件的安全配置，并且妥当保管相关的账户凭证；（4）以及对其部署在大数据集群上的应用进行安全管理。 再以数据库服务为例，租户应负责：数据库引擎的
第三方软件安全管理 企业对引入的开源及第三方软件需要制定明确的安全要求和完善的流程控制方案，在选型分析、安全测试、代码安全、风险扫描、法务审核、软件申请、软件退出等环节，均实施严格的管控。例如在选型分析环节，增加开源软件选型阶段的网络安全评估要求，严管选型。在使用中，须将第三方软件作为
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
