检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据调研 数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
于这些洞察力开发出更具竞争力和创新性的产品和服务。例如,一些公司利用大数据分析医疗记录和基因组数据,提供个性化的医疗解决方案。 父主题: 云上创新
档。 安全云脑 安全云脑(Security Master,SecMaster)是华为云原生的新一代安全运营中心,集华为云多年安全经验,基于云原生安全,提供云上资产管理、安全态势管理、安全信息和事件管理、安全编排与自动响应等能力,可以鸟瞰整个云上安全,精简云安全配置、云防护策略的设
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题: 采用实施
最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for MySQL) 其他云MongoDB 华为云DDS 其他云MongoDB迁移到DDS
大数据调研 平台调研 数据调研 任务调研 父主题: 调研评估
切换 大数据的切换主要是指大数据应用的切换,其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点,以便更好的指导大数据应用的切换。 双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用。
保障 在大数据迁移的保障阶段,需要执行以下任务来确保顺利过渡到新的云环境: 监控和警报设置:建立实时监控系统,监测集群、任务调度平台和应用程序的运行状态。设置警报,以便及时发现潜在的问题并采取措施。 优化集群性能:对大数据集群进行性能评估和调优。监视资源使用情况,优化配置参数、调整集群大小和资源分配,以提高整体性能。
大企业IT治理架构的层级关系 上述IT治理架构中的各个层级需要逐一映射到华为云上,在华为云上创建相应的对象,华为云从精益治理的角度推荐如下图所示的映射关系。集团公司映射为华为云的主账号(或管理账号),下面的子公司、分公司和部门都可以映射为华为云的组织单元(Organization Unit, OU)
为什么需要Landing Zone 为了实现业务单元的安全和故障隔离,华为云的推荐做法是将不同业务单元的应用系统分别部署在不同的账号中。华为云账号具备以下三个属性。 华为云账号是一个资源容器,用户可以在其中部署任意云资源和上层业务应用系统,不同的账号相当于不同的资源容器,账号之间是完全
任务调研 任务调研主要包括如下方面: 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler,Hera、Crontab等。 任务类型 基于编程语言分类: Jar类:常用于MRS、Flink、Spark等 SQL类: 常用于Hive、Spark、UDF等
如果目标架构是采用华为云的任务调度平台DataArts Studio,可以参考如下官网文档进行部署和配置。 如果目标架构是采用自建的大数据任务调度平台,有2种方法部署,可以基于华为云ECS重新部署大数据任务调度软件,或者是使用华为云SMS工具将源端调度平台迁移到华为云ECS。 大数据应用部署
Hadoop数据迁移到华为云MRS服务 如图所示,将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务。
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比,文件的对比方法有文件数量对比,大小对比,内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。一般从如下三方面验证: 验证作业执行的成功率
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题: 方案设计
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
高带宽、按需扩展、共享访问(等同于NAS) 高可靠、低成本、海量可扩展性、支持任意类型和大小的对象 使用场景 高性能计算、企业核心集群应用、企业应用系统和开发测试等 高性能计算、媒体处理、文件共享和内容管理和Web服务等 大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等
制定云化转型战略 在识别驱动力、评估云化成熟度、制定云化目标和分析云化收益之后,您需要正式制定云化转型战略。制定云化转型战略通常包含以下步骤:设计云化转型的愿景、明确具体的云化目标、与干系人对齐目标、邀请高层正式发布战略,以及在组织范围内进行战略宣贯。关键在于确保与所有干系人进行
Agreement)和供应商支持关系 检查既有的 SLA 和供应商支持协议,并评估迁移到云平台后对这些关系的影响。确保在云环境中依然能够满足业务需要并获得期望的支持和服务。 网络和连接依赖关系 调研目标应用所需的网络连接和传输协议。确定上云后是否需要进行网络配置和访问控制,以确保应用程序可以与相关的外部系统正常通信。
U,内存利用率性能数据,网络拓扑数据等),并提供其迁移到华为云的推荐配置以及主机的一站式迁移能力。 主机迁移服务(SMS):是一种P2V/V2V迁移服务,可以把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器云主机上,具体使用方法请查看SMS帮助文档。 数