检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
Checklist参考 表1 Runbook Checklist参考样例 大类 前置工作项 责任部门 活动 是否涉及 是否完成 计划完成时间 责任人 组织和保障准备 - 项目经理 - 是 - - - - 项目经理 - 是 - - - 第三方/业态 - 业务相关 - 是 - - - 环境清单核对 应用清单检查并刷新启停
简称CDM),是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。详细信息请参考官网文档。 数据快递服务(Data Express Service,简称DES)
根据业务系统的需要创建VPC和子网,部署各种业务系统所需的云资源。 按照生产、开发和测试等运行环境划分不同的VPC。 按照应用架构分层划分Web、应用、数据等子网。 公共服务和管理区主要功能 根据公共服务和IT管理系统的需要创建VPC和子网,用于部署公共服务和IT管理系统所需的云资源
支持输入架构模板名称、适用行业、适用场景等关键字对架构模板进行查找; 支持按照模板类型、部署环境、适用行业、适用场景对架构模板进行过滤筛选,您也可以在适用行业和适用场景右侧下拉选择更多行业和场景; 支持按照默认综合排序、最新发布、最多引用、我的关注对架构模板进行排序。 图1 Haydn平台架构设计模板 架构模板详情
在目标平台上,根据源端平台的权限设置,调整权限级别和范围。确保目标平台上的权限设置与源端平台一致,并确保用户只能访问其应有的资源。 权限分配和继承 在目标平台上,根据源端平台的权限设置,对用户进行权限分配和继承。确保用户在目标平台上具有与源端平台相同的权限,并能够继承相应的角色和权限设置。 审查和调整访问控制 审
理流程、分析模型和相关业务逻辑,以支持特定的业务需求和分析目标。大数据迁移批次规划的参考原则如下: 按主题域进行分批: 按主题域分批需要考虑2个相关性,数据相关性和任务相关性。数据相关性是指将具有相似业务逻辑、相互依赖或紧密相关的数据放在同一批次中,以确保一致性和完整性。任务相关
安全配置基线 安全配置是信息系统的最小安全保障,云安全配置是云环境最基本的安全保证,是开展安全防护和安全运营的基础。 如果云服务没有达到安全配置基线要求,云上业务及资产将面临巨大安全风险。为了帮助客户提高云环境的安全防护能力,华为云为客户提供了华为云安全配置基线指南。该指南包括身
可快速获取现网信息 文档的及时性和完整性无法保证 4 安装工具(RDA\第三方) 客户同意安装工具agent 可较快获取详细资源清单 1.需要客户现网环境安装agent,较敏感; 2.针对数据库、中间件等获取信息较少,且无法获取应用调用关系。 5 调研访谈 客户人力和时间充足,且愿意配合
data) 利用工具和管理机制减少人员直接访问和处理数据的必要性,减少处理敏感数据时出现人为错误和人为删改的风险。 DevSecOps 将安全性纳入到整个软件开发生命周期中,从需求分析、设计、开发、测试、部署、运维、运营的每个阶段都考虑安全性,以确保系统的安全性和稳定性。通过将安全
IAM策略用于精细化地控制用户、用户组和委托对华为云资源的访问权限。通过IAM策略,企业可以基于最小权限原则,为用户分配恰到好处的权限,确保他们只能访问与其工作相关的资源和操作。这不仅提高了安全性,还减少了权限滥用的风险。关于IAM策略的详细介绍,请查看这个链接。 在华为云中,身份控制策略主要通过SCP和IAM
做内容对比,不同对比方式对比时长不同,需根据表的重要性和切换时长综合考虑来确定数据一致性对比方案。 源端数据静止,除了停止应用外,还要考虑批处理任务和消息队列中的消息消费情况等。 应用和定时任务的启停经常有顺序,需梳理应用和批处理任务的启停顺序,避免启动顺序不当造成业务影响。 由
都连接到db01,A 和B 每秒都会进行许多读写操作,但是C每晚在非高峰时间运行批处理作业,因此A、B和db01是紧耦合,C与db01是松耦合,A和B必须与db01一起迁移,放到同一个迁移分组,C可以单独移动,如果需要可以放到另一个迁移分组。 二、迁移分批 企业上云过程往往是分批进行的
扩展性、安全、成本、可运维性),其中重点考虑可用性、可扩展性和性能,安全、成本和可运维性遵循基础环境的设计进行适配即可。 大数据架构设计:大数据的部署架构设计包括大数据集群部署架构设计、大数据任务调度平台部署架构设计和大数据应用部署架构设计,其中大数据应用的部署架构可以参考应用部
主机迁移服务的安全传输原理指的是:源端服务器中的迁移Agent从主机迁移服务获取到迁移指令后,会动态生成安全证书和密钥并且通过华为云OpenStack 元数据管理服务传输给目的端服务器,此后,源端服务器和目的端服务器会重启并使用新生成的动态安全证书建立安全的SSL通道。SMS主机迁移过程中,无需中
评估适配改造工作量。 弹性和可扩展性:在云上部署大数据任务调度平台时,应考虑平台的弹性和可扩展性。云环境提供了弹性计算和存储资源,可以根据工作负载的需求自动调整容量。确保任务调度平台能够快速处理增加的任务负载,并支持水平扩展以满足业务需求。 高可用性和容错性:确保在云上部署的任务
整体架构设计 华为云基于自身实践和大量Landing Zone项目的成功交付经验总结了如下图所示的Landing Zone解决方案整体参考架构,涵盖组织与账号管理、身份权限管理、集中网络管理、共享服务管理、统一安全管理、统一合规审计、统一运维管理、统一财务管理和数据边界总共9个领域。
、安全性和性能。迁移实施工作属于一次性工作,经常会外包给云服务商或者云实施专业服务提供商。 云架构师:来自IT架构部门或具备深厚云技术背景的专家,负责云上架构的部署和优化,为实施团队提供技术支持和指导。 云基础设施管理员:来自IT部门的运维团队,负责管理云基础设施,建立和实施云运
需要调研大数据任务调度平台的类型、版本、支持的大数据框架和技术,调度任务类型,可视化和管理界面,扩展性和集成性,容错和故障恢复,安全性和权限控制以及社区支持和文档资料等方面的信息。用于后续大数据调度平台的选型和方案设计。 调研现有的大数据任务调度平台的类型,例如Azkaban等,了解它们的特点和适用场景。 调研现有
计划。新员工转正前必须通过有关信息安全与隐私保护的上岗培训和考试;在岗员工需根据不同业务角色,选择相应课程进行学习与考试。管理者需参加信息安全必须的培训和研讨。 精准培训:通过大数据分析识别产品研发过程中的典型安全问题和问题关联责任人,并向其精准推送安全典型培训方案(包括案例、培训课程、练习题等),持续改进安全质量。