检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
掌握经验:上云迁移试点可以让企业的技术团队和业务人员获得实践经验。在试点过程中,他们可以学习并熟悉云平台的特点、功能和最佳实践,了解迁移的工具和流程,并积累相关知识和技能,为后续的全面迁移做好准备。 确定优先级:通过试点迁移,企业可以评估不同应用或业务的迁移优先级。根据试点结果,企业
根据源端数据权限控制组件的不同,选择不同的权限数据迁移方式 Sentry、Ranger等 数据重要性 调研数据重要性的目的是区分核心数据和非核心数据,用于迁移优先级和数据校验标准。 交易类是核心数据,日志类是非核心数据 数据更新频率 针对不同的刷新周期,制定数据的迁移计划和校验计划。
当前企业业务中使用比较多的中间件类型为缓存中间件和消息中间件。中间件作为数据存储的临时场所,数据一般不用迁移,但在切换时,为了确保源端和目的端数据的一致性,需要等中间件消息队列中的消息完成消费后再切换。如果中间件缓存数据是持久化的,即作为数据库使用,此场景需要进行数据的迁移。所以中间件的迁移方案
在首次数据加载时,能极大的提高写入效率,并降低对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区很多时,会有很多
等,作为非核心业务的数据,如果有微量损失,并不会影响客户的业务使用和体验。建议若切换时间有限,可以只进行数据的行数对比。 边缘业务 90% 电商系统的首页推荐数据、用户浏览数据、用户画像数据等,如果有一部分损失,并不会影响客户的业务使用可体验。建议进行表级的的行数对比,抽样内容对比。
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
源端数据静止,除了停止应用外,还要考虑批处理任务和消息队列中的消息消费情况等。 应用和定时任务的启停经常有顺序,需梳理应用和批处理任务的启停顺序,避免启动顺序不当造成业务影响。 由于公网DNS的域名解析有缓存功能,所以通常会出现虽然系统已切换到目的端,但是仍然有访问流量转发到源端的场景。所以Runbook
和同步。增量作业是指在迁移过程中新增的、需要定期运行的作业。 作业双跑 在增量作业迁移和同步成功后,进行作业双跑。作业双跑是指在新的大数据平台上同时运行原有系统和新系统的作业,以验证新系统的结果和原有系统的一致性。这可以通过比较作业输出、日志和指标等来判断两个系统的结果是否一致。
组建实施团队 在企业上云的实施阶段,组建一支高效且专业的实施团队是确保项目成功的关键。该团队将负责执行上云计划和具体的上云实施工作,保障各项上云任务的顺利进行。上云实施团队应由来自不同领域的专业人员组成,企业可以参考前述的CCoE组织架构和角色职责,组建出一个全面且专业的上云实施团队,以下为必要的团队成员。
确定驱动力的优先级 并非所有业务事件都具有相同的紧迫性和重要性,您需要根据企业的业务战略和业务现状,对已识别的驱动力进行优先级排序。例如,对于一家正在进行数字化转型的企业来说,“提升业务敏捷性”和“加速业务创新”的优先级更高。而对于一家面临现金流紧张的企业来说,“按需付费”和“降低成
本升级需求的需要评估适配改造工作量。 弹性和可扩展性:在云上部署大数据任务调度平台时,应考虑平台的弹性和可扩展性。云环境提供了弹性计算和存储资源,可以根据工作负载的需求自动调整容量。确保任务调度平台能够快速处理增加的任务负载,并支持水平扩展以满足业务需求。 高可用性和容错性:确保
对准调研目标,识别还缺哪些信息,为什么要调研这些信息,以及这些信息的获取方式。 基于企业组织架构和分工,判断能提供这些信息的干系人。 制定调研访谈提纲和调研模板,制定沟通策略和计划。 依照干系人认可的授权方式获得需要的信息,并进行信息的整理,完成调研。 图1 调研方法 调研的总体思路是先易后难,先粗后细,持续迭代,具体含义如下:
响数据的一致性,因此,应尽量减少批次的数量。 批次间相互独立:批次划分时,确保不同批次间尽量是相互独立的、松耦合的,很少有相互依赖的任务和数据流。独立的批次划分,有助于降低迁移中对其它业务域的影响。 批次内紧耦合:批次划分时,确保每个批次包含相关性较高的主题域和相互依赖的任务和数据流,包括数据共享场景。
进行全面的重塑和创新,以适应快速变化的市场环境和满足客户不断提升的需求。当前主流的云计算平台都已经内置集成了丰富的、高可用和高安全的数字技术,组织可以在全球范围内通过云服务的形式按需使用这些数字技术,云服务是组织获取数字技术最快和最高效的方式,云化转型是数字化转型的重要支撑,可以
需要调研大数据任务调度平台的类型、版本、支持的大数据框架和技术,调度任务类型,可视化和管理界面,扩展性和集成性,容错和故障恢复,安全性和权限控制以及社区支持和文档资料等方面的信息。用于后续大数据调度平台的选型和方案设计。 调研现有的大数据任务调度平台的类型,例如Azkaban等,了解它们的特点和适用场景。
结合基于趋势(已上云业务的历史支出作为输入)的预测和基于业务驱动因素(例如新业务上云或区域扩张)的预 测,可以有效改进并提升企业的财务预测准确率。 使用成本中心的成本分析,可以根据客户的历史支出预测未来时间范围的成本。成本分析的成本和使用量预测,会参考不同的计费模式特征,结合机器学习和基于规则的模型来分别预测所有消费模式的成本和使用量。
容灾站点。 高可用容灾能力构建是一个复杂的系统工程,涉及入口流量控制、业务层改造、中间件和数据库的控制,以及整体机制的协同,所以整个体系打造是存在一定门槛的;如果客户缺乏相关的经验,又期望快速构建高可用的容灾体系,可以考虑使用华为云提供的多云高可用服务(Multi-cloud high
获取流水账单和明细账单,按月度查看资金流水和资源扣费的详细信息。消费总计、付款情况、账单的明细数据等。 客户可以将华为云导出的账单和公司自己财务生成的账单进行多维度对账,以确认资源的购买、使用和账户的实际支出是否一致。 资金监控和资源包预警 华为云分别从账户资金余额和资源包剩余使
参考架构库 Haydn是华为云面向合作伙伴和客户的数字化平台,当前Haydn已经积累了700+各类参考架构,企业可以根据业务场景搜索并引用华为云的应用部署参考架构,基于Haydn做架构设计,企业可以对参考架构做定制化修改,以更符合企业业务。 架构模板查找 登录华为云官网,在上方导
Checklist参考 表1 Runbook Checklist参考样例 大类 前置工作项 责任部门 活动 是否涉及 是否完成 计划完成时间 责任人 组织和保障准备 - 项目经理 - 是 - - - - 项目经理 - 是 - - - 第三方/业态 - 业务相关 - 是 - - - 环境清单核对 应用清单检查并刷新启停