检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以实现数据搬迁,例如:通过导出Snapshots快照、Export/Import、CopyTable方式等,可以参考Apache官网相关内容。也可以使用华为云CDM云迁移服务进行HBase数据搬迁,详细操作指导请参考官网文档。 图2 HBase数据迁移 Hive数据迁移到华为云MRS服务
上云阶段,则需要打开到每个应用系统的详细技术架构,收集每个应用系统的技术组件的详细信息,如组件版本信息,组件相关配置参数等。 大数据调研:先调研大数据的整体技术架构,然后逐步打开调研详细的信息。 每次的调研工作按照以下6步执行: 根据上云阶段,确定调研目的,梳理需要调研的信息。 对齐已有信息,避免重复调研。
任务调研 任务调研主要包括如下方面: 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler,Hera、Crontab等。 任务类型 基于编程语言分类: Jar类:常用于MRS、Flink、Spark等 SQL类: 常用于Hive、Spark、UDF等
实施FinOps,企业可以提升资源使用效率,避免资源浪费,并在不影响业务性能的前提下降低成本。关于FinOps的详细实践,请查看本章后面的内容。 总之,企业通过精益化治理可以实现数据边界可守护、复杂组织可治理、人员权限可管控和资源成本可优化,有效控制大规模用云的各种风险,最大化业务收益。
当前企业业务中使用比较多的中间件类型为缓存中间件和消息中间件。中间件作为数据存储的临时场所,数据一般不用迁移,但在切换时,为了确保源端和目的端数据的一致性,需要等中间件消息队列中的消息完成消费后再切换。如果中间件缓存数据是持久化的,即作为数据库使用,此场景需要进行数据的迁移。所以中间件的迁移方案需结合业务使用
数据调研 数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
是 - - - Runbook操作步骤参考 此外,还可能包含的项,例如:实际开始时间、实际结束时间、实际耗时等条目。 表2设置样例,具体表格内容请参考实际业务情况后填写。 表2 Runbook操作步骤参考样例 序号 任务 步骤顺序 子任务 步骤 详细操作指导 决策 详细清单 操作人
数,是数据传输的一个度量方法; 针对数据库资源,并发能力是指一个时间段中有几个程序都处于运行的能力。 除此之外,我们还要考虑以下几个方面的内容:方案选择、性能度量、性能监测和性能权衡。 方案选择 根据不同场景选择不同的解决方法,并且结合多种方法,这样可以更容易地找到一种与需求符合的方法;
简称DIS) 处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。详细信息请参考官网文档。 云数据迁移(Cloud
公共服务管理 首先您要识别出各个业务单元所需要的公共IT服务和资源,比如NTP服务器、SFS文件存储、自建DNS服务器、OBS桶、虚拟机镜像、证书等,也可以是CodeArts等PaaS服务。然后集中部署和维护这些公共IT服务,将其共享给公司内所有业务单元。华为云提供了三种资源共享的方式。
更简化的账单管理和分析:使用标签可以大大简化账单解析工作,让财务人员能够快速理解和审核账单内容。此外,还可以利用标签进行详细的费用分析,找出节省成本的机会点。 更准确的决策:准确的标签信息为管理层提供了基于事实的数据基础,帮助他们做出更明智的投资决策。 CCoE团队在通过标签进行成本管理和财务
降低15%”或“在一年内,实现业务系统的弹性扩展能力,提高资源利用率30%”等目标。这些目标都有明确的衡量标准,便于后续的跟踪和评估。详细内容参考制定云化目标 。 与干系人对齐目标 云化转型需要得到高层领导和各个干系人的支持和认同,因此需要与他们进行深入的沟通,确保云化转型的目标
待消费者服务消费完通道内的消息后,整个消息中间件直接切换到华为云。 数据层:包括数据库、对象存储、文件系统,数据库一般通过华为云的数据迁移工具DRS做迁移,对象存储一般通过华为云对象存储迁移工具OMS做迁移,文件系统一般通过Rsync等迁移工具来迁移。 迁移工具兼容性 迁移工具的
在连接数据库,导致数据一直无法静止,定位发现某第三方店铺在店铺关停后仍然在做一些操作等。企业可以根据识别的未知问题,有针对性的调整和优化切换方案,提高切换上线的成功率。 演练流程 建议正式切换前做2~3次演练,切换演练的流程如下: 图2 演练流程 演练准备 演练的准备内容主要包括如下几个方面:
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题: 采用实施
业能够快速响应变化,减少错误,提升团队协作效率,确保业务目标的实现。 关于华为云Well-Architected Framework的详细内容,请参考卓越架构技术框架Well-Architected Framework。 父主题: 顶层规划
并根据云化转型项目影响到的组织范围,构建联合项目团队,并提前和相关组织做好预沟通工作(如项目计划排程、责任分工、参与的阶段与角色,主要工作内容等)。项目计划需要在启动会前完成设计,并和业务部门等周边相关部门确认好时间计划、人员投入和资源就绪情况等。项目管理机制是项目顺利开展的关键
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储
数据边界 华为云提供了全方位数据边界保护您的敏感数据,全方位数据边界基于身份控制策略、网络控制策略和资源控制策略构筑起一道坚固的数据安全屏障。确保只有经过严格验证的可信身份,在符合安全标准的可信网络环境中,方能获得对特定资源的访问权限,从而保障数据安全。如下图所示,可信身份从互联
高可靠、低成本、海量可扩展性、支持任意类型和大小的对象 使用场景 高性能计算、企业核心集群应用、企业应用系统和开发测试等 高性能计算、媒体处理、文件共享和内容管理和Web服务等 大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等 存储逻辑 存放的是二进制数据,无法直接存放文件,如果需存放要先格式化文件系统