检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据任务调度平台和组件,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议部署架构设计时,优先采用大数据云服务。如果目标云平台上没有对应的大数据任务调度组件
您可以在这个链接查看华为云当前支持的全局级条件键和服务级条件键。通过 ABAC 可以更细粒度地设置访问控制的权限,例如运维人员张三只有启用了 MFA 认证后并且只能在晚上 12 点后、凌晨 4 点之前对指定的ECS实例进行关机和重启操作。 父主题: 精益化治理
其次,由于云平台提供了云原生的DevOps开发工具链,如华为云提供的CodeArts,而且华为云提供的云服务都对外开放了很多API,您完全可以基于这些云原生的工具链和API进行应用系统的开发及测试,并通过流水线将应用系统直接部署在云平台上的预生产环境和生产环境。
使用华为云提供的应用编排服务RFS,对资源进行编排和批量发放,具体操作方法,请参考RFS的官网文档。 上述三种资源开通方式的对比如表1。具体使用哪种方式进行资源的发放和配置,需要根据实际情况和需求综合考虑。
其一,IT设备和云服务的价格是动态变化的,比如云服务商经常调整云服务的价格,您计算云服务的成本时可以参考华为云提供的价格计算器和商务优惠。其二,同样的IT设备和云服务在每个国家和地区的价格也不一样,电力价格和人力薪资在不同的国家和地区差距比较大。
华为云基于大量企业的云化转型经验,总结了以下三种云运营模式。 父主题: 云运营模式
在云环境中,您可以考虑使用托管的数据库服务,如华为云RDS、GaussDB等。另外,还需要考虑如何处理跨多个微服务的数据事务和数据一致性问题。一种常见的方法是使用分布式事务管理器(如Saga模式),以保证微服务之间的数据操作具有一致性和原子性。
根据华为公司自身的云化转型成功经验和我们帮助大量客户云化转型所积累的成功经验,我们推荐如下CCoE组织结构及主要角色,您可以将其作为起点,基于您的IT组织的现状、员工技能水平和云化目标对其进行裁剪和完善,设计最适合您企业的CCoE组织结构。
常用的敏捷管理工具包括Jira,也可以使用华为云提供的云原生项目管理工具CodeArts Req。CodeArts Req和华为云的云原生DevOps工具链CodeArts的其他工具无缝打通,可以有效提升端到端项目管理和应用交付的效率。
图4 CMDB法 图5 CMDB法示例 关联分析工具法:可以通过专门的关联分析工具进行关联分析,比如华为云的MgC工具,也可以采用业界的一些关联分析工具。
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息: 大数据平台调研,包括大数据集群、任务调度平台、数据流向。 数据调研,包括待迁移的数据类型、数据量、
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比,文件的对比方法有文件数量对比,大小对比,内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。一般从如下三方面验证: 验证作业执行的成功率
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储、
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
保障 在大数据迁移的保障阶段,需要执行以下任务来确保顺利过渡到新的云环境: 监控和警报设置:建立实时监控系统,监测集群、任务调度平台和应用程序的运行状态。设置警报,以便及时发现潜在的问题并采取措施。 优化集群性能:对大数据集群进行性能评估和调优。监视资源使用情况,优化配置参数、调整集群大小和资源分配
切换 大数据的切换主要是指大数据应用的切换,其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点,以便更好的指导大数据应用的切换。 双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用
任务调研 任务调研主要包括如下方面: 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler,Hera、Crontab等。 任务类型 基于编程语言分类: Jar类:常用于MRS、Flink、Spark等 SQL类: 常用于Hive、Spark
应用迁移上云简介 应用迁移上云简介 应用上云迁移是指将应用的接入层、应用层、中间件层和数据层迁移到云端的过程,迁移策略采用Rehost或Replatform,不含Refactor(应用改造),数据层包含对象存储、块存储、文件存储、关系型数据库、非关系型数据库。 应用上云迁移遵循如下的流程
迁移实施常见问题 关于迁移实施过程中的常见问题及答案,请查看如下链接。 主机迁移服务SMS的常见问题。 Redis数据迁移常见问题。 对象存储迁移服务OMS的常见问题。 数据库迁移的常见问题。 父主题: 迁移
区块链 区块链是一种去中心化、分布式的账本技术,可以确保数据的安全性和可信度。以下是区块链如何使能业务创新、与业务结合并推动业务现代化的几个方面: 透明度和可信度:区块链技术通过去中心化的特点,确保所有交易和数据记录被公开透明地存储,并且无法篡改。这为企业创造了更高的数据可信度和透明度