检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
洞见和决策支持。 任务调度: 大数据平台通常需要处理复杂的数据作业。任务调度系统(如Azkaban等)用于管理和调度各种数据处理作业,可以设置作业的依赖关系、调度频率、重试策略等,以确保作业的顺利执行和任务的准时完成。 数据应用: 大数据平台的最终目的是为业务提供有价值的数据应用
如何统一监控、运维和管控多个业务单元的云资源? 如何统一管控各业务单元的预算和成本?如何优化云成本? 如何避免各业务单元过度使用云资源? 如何将用户进行分组?又应该为用户组设置哪些权限? 云资源、数据和应用如何满足国家、行业和企业自身的安全合规标准? 误操作、恶意操作和权限错配在所难免,如何规避由此产生的风险?
调研应用部署架构 应用部署架构的调研是在试点迁移或大规模迁移阶段进行的,应用部署架构是基于单个应用进行调研的,主要调研应用的四层部署架构,即接入层、应用层、中间件层和数据层,同时还要调研每一层技术组件的详细信息,比如规格、版本、容量等。具体的调研内容如下: 调研应用的四层部署架构
云运维团队 云运维团队负责云基础设施的日常管理与维护,确保云基础设施的高可用性、高安全和高性能,协同应用运维管理员保障云上业务系统的长期安全稳定运行,并不断通过自动化和智能化技术提升运维效率。云运维团队通常包含云基础设施管理员、云网络管理员、数据库管理员和自动化工程师,职责和技能要求如下表所示。
在部署好目标大数据平台后,为了确保正确的权限设置,可以参考源端平台的权限设置,并按照以下步骤进行设置: 审查源端权限设置 仔细审查源端平台的权限设置,包括用户、角色、组织结构和权限级别等信息。了解每个用户的权限范围和访问权限,以便在目标平台上进行对应的设置。 创建用户和角色 根据源端平台的权限设置,创建相应的用
组织的资源和能力现状,确保目标是可实现的。通过上述云化成熟度评估,您正好能够掌握组织当前的能力现状和差距,可以有针对性地制定云化目标,避免设置过高或过低的目标。 为了制定可衡量的云化目标,需要针对云化驱动力设计合理的量化指标,方便组织的管理层进行跟踪和评估云化转型的实际效果。我们针对上述各种驱动力设计了以下量化指标。
服务器、自建AD服务器等公共资源 安全运营账号 作为企业安全运营中心,统一管控整个企业内所有账号的安全策略、安全规则和安全资源,为成员账号设置安全配置基线,对整个企业的信息安全负责 安全管理团队 统一部署具备跨账号安全管控的服务,如安全云脑SecMaster、企业主机安全HSS、
原生安全,提供云上资产管理、安全态势管理、安全信息和事件管理、安全编排与自动响应等能力,可以鸟瞰整个云上安全,精简云安全配置、云防护策略的设置与维护,提前预防风险,同时,可以让威胁检测和响应更智能、更快速,帮助您实现一体化、自动化安全运营管理。关于SecMaster服务的详细功能和详细使用方法,请参考官网帮助文档。
型的许多云资源时,可以使用标签按各种维度(例如用途、所有者或环境等)对云资源进行标识和分类,然后基于标签进行资源筛选、成本归类和细粒度权限设置等,从而简化资源管理和优化成本。 如下图所示,用户为每个云资源分配了两个标签,每个标签都包含自定义的一个“键”和一个“值”,一个标签使用键
据的可用性和完整性。 自动故障恢复:设置自动化故障转移机制,在一个AZ发生故障时,自动将应用程序切换到其他可用的AZ上,以快速恢复服务,企业可以利用容器编排工具、自动化脚本或云服务提供商提供的故障转移功能来实现自动故障恢复。 监控和警报:设置监控和报警机制,实时监测每个AZ中的应
用户组的职责,按照最小授权原则,下表也推荐了应该给这些用户组设置访问哪些账号的哪些权限,您可以将其作为起点,精细化规划符合企业要求的用户组和权限。 表1 IAM身份中心的用户组 用户组 用户组的职责 多账号访问权限的设置建议 财务管理组 统一管理成员账号的账单、成本、折扣、发票等财务元素
leader的正常选主。 Kafka-Broker数据节点高可用:Kafka-Broker节点3AZ分布(2+2+1)。Topic副本至少设置3副本,设置unclean.leader.election.enable参数为true,在3AZ其中任意一个AZ整体宕机情况,确保集群始终最少有一份副本。
业务验证 业务验证对上云迁移非常重要。业务验证主要包括功能验证和性能验证等。在上云迁移过程中,有两个阶段需要进行业务验证。首先,业务部署完成后,在切换前需要进行功能和性能验证,其次,业务切换时,当业务流量切换到目的端,切换后也需要进行功能和性能验证。 功能验证 功能测试内容 功能
应用层先做读写分离改造,然后停止写服务,读不停 应用层修改代码,拆分读写服务 应用层服务没有读写分离的场景 复杂 大 中间件层/数据层直接回收写权限 中间件层/数据层设置业务账号只读,收回写权限 直接回收写权限,业务系统会报错,需要做相关轻微改造处理这些报错 简单 轻微改造 网关拦截 服务网关(Gateke
Zone,具体步骤请参考官网文档。但资源治理中心部署的是最小化Landing Zone,不一定符合企业的实际需求,还需要在此基础上通过手工或自动化的方式进一步设置Landing Zone。 使用华为云提供的资源编排服务RFS或第三方自动化工具(如Terraform等)实现Landing Zone的自
日志系统检查 运维相关 - 是 - - - Runbook操作步骤参考 此外,还可能包含的项,例如:实际开始时间、实际结束时间、实际耗时等条目。 表2设置样例,具体表格内容请参考实际业务情况后填写。 表2 Runbook操作步骤参考样例 序号 任务 步骤顺序 子任务 步骤 详细操作指导 决策
指标模式:基于资源的性能指标(如 CPU 利用率、网络流量均值)创建报警任务,当指标数据满足指定的报警条件时,触发报警并执行资源扩缩容。 固定数量模式:设置最小/最大期望资源数量,当实例数量低于下限/超过上限时,系统会自动添加/移出资源,使得资源数量等于下限/上限。 手动模式:手动进行弹性伸缩
根据不同场景选择不同的解决方法,并且结合多种方法,这样可以更容易地找到一种与需求符合的方法; 不断迭代的方法,使用数据驱动来优化资源类型和配置选项的选择; 性能度量 设置性能度量和监控指标,以捕获关键的性能指标; 使用可视化技术呈现性指标和性能问题(如:异常状态、低利用率等); 性能监测 确定监控范围、度量和阈值;
OD自动减容,支持配套应用性能监控(AOM)实现告警策略自动触发扩容或减容; 若应用层使用ECS进行部署,则可通过华为云弹性伸缩服务AS,设置对应的伸缩策略,随业务实现水平扩缩容。 中间件层可扩展设计要点 消息中间件层:华为云DMS RabbitMQ专享版底层是集群环境,随着消息
列等进行交互,并确保数据持久性和可靠性。 安全性和监控:确保容器化环境的安全性,例如限制容器的权限、使用安全的镜像源、进行漏洞扫描等。同时设置监控系统,以便实时监测容器的性能和运行状态。 测试和部署:在容器化改造完成后,进行全面的测试,包括单元测试、集成测试和性能测试。确保应用程