检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
元数据增量感知 识别出上一次迁移后,在源端数据库中发生变化的元数据,并同步至目的端华为云数据湖探索(DLI)。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark
对象名称不能包含特殊字符。 单个对象大小不能超过:500 MB x 10000 = 4.76837158203125 TB,否则可能会导致迁移失败。 迁移网络 支持公网、内网和专线迁移。 软链接 不支持源端路径为软链接路径的迁移。如果源端包含软链接,请进行如下处理: 填写实际的文件路径。 迁移完成后,手动在目的端创建相应的软链接。
迁移速度的因素。 建议:根据迁移需求调整源端和目的端的QPS限制。 迁移集群的网络带宽使用情况:对于小对象迁移,网络带宽可能不是主要限制因素,但如果带宽使用接近上限,仍可能影响迁移速度。 建议:监控网络带宽使用情况,确保有足够的带宽用于迁移。如果发现带宽不足,可以考虑升级带宽或在带宽使用较低的时段进行迁移。
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。
MgC分为部署在云上的云服务和部署在客户网络中的Edge两个部分。 MgC:部署在云上,主要包含六个业务功能(问卷&TCO对比、在线采集、应用关联分析、在线评估、资源分组、迁移编排),通过基于服务开发服务,基于服务运维服务的方式进行设计。 Edge:部署在客户的网络中,用来保存凭证等敏感资源和
创建元数据连接 创建元数据来源类型的连接,获取源端大数据库表清单。 目前支持的连接类型,参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake(有元数据) Delta Lake(无元数据)
项目管理 操作场景 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。例如:可为阿里云迁移至华为云创建一个新的项目,里面将包含阿里云平台的主机、数据库、组件等信息。 创建项目 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置
SFS1.0迁移至SFS 3.0 使用须知 准备工作 创建集群 (可选)网络打通 创建存储迁移工作流 (可选)清理集群 父主题: 存储迁移相关最佳实践
创建工具采集任务 Edge提供了多种类型的线下采集器,用于采集线下网络环境中的资源规格和配置信息。本节为您介绍创建线下工具采集任务的方法。 前提条件 已下载并安装Edge,并完成用户注册。 已安装待采集资源类型的采集器。 操作步骤 使用注册的用户名、密码登录Edge控制台,在左侧
的详细说明。 表1 评估策略参数说明 参数 子参数 说明 购买区域 - 选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格 根据源端规格推荐最合适的华为云对应资源规格。 如果是通过手动添加或内网发现获取的源端主机,则
创建目的端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
MRS ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍MRS ClickHouse版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。
采集安全性说明 数据采集架构 安全特性 采集项列表 内网采集权限与原理 公网采集权限要求 责任共担
存储迁移相关最佳实践 迁移其他云平台存储数据至华为云 OBS多前缀批量迁移 归档存储(冷存储)数据迁移 SFS1.0迁移至SFS 3.0 通过HTTP迁移MinIO存储数据到华为云OBS 通过HTTP迁移Ceph存储数据到华为云OBS
资源采集常见问题和处理方法 资源采集相关问题与处理方法参下表。 问题 处理建议 该任务名已存在。 请重新输入任务名。 创建采集任务失败。 请联系技术支持人员或提交工单。 采集项所关联的采集任务不存在。 请为采集项重新关联采集任务。 采集项重复。 请检查采集任务中是否存在相同的采集项,或联系技术支持人员。
应用场景 应用现状调研 提供丰富的调研能力,支持其他云厂商或者自建IDC中的应用现状调研,并且绘制对应架构图和依赖图,为后续迁移计划的制定提供帮助。 主机批量迁移 提供高灵活、可定制的迁移工作流,根据采集的源端主机性能数据,推荐最合适的华为云主机规格,帮助用户一站式大批量发起迁移任务。
大数据迁移后数据校验 MaxCompute迁移至DLI数据校验 MRS ClickHouse迁移至MRS ClickHouse数据校验 阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 阿里云 ClickHouse迁移至MRS ClickHouse数据校验
创建目的端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括: 数据湖探索(DLI) CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
MRS HBase迁移至MRS HBase数据校验 本文主要介绍MRS HBase版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。 需