检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧
理能力,并提供迁移工作流模板,用户可以根据不同迁移场景,简单、快速创建迁移工作流,提升用户云迁移效率。 多源采集 迁移中心支持多种类的资源采集,包括:云平台、主机、数据库、容器、中间件等。并且可以对采集到的主机、数据库、存储等信息进行调研评估,为用户上云提供配置推荐和方案设计。 可视化管理
将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。
新增数据表参数说明 参数 说明 元数据连接 根据实际需求,选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径(可选) 元数据连接为Delta时,为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径(可选) 元数据连接为Delta(无元数据)时,为必填项。
选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 MaxCompute参数 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按项目筛选,在数据库参数框中输入项目名即可。如果数据库中有不需要迁移的表
在第三步:预设当前Edge名称区域,自定义Edge在MgC控制台显示的名称,单击“连接”按钮,确认要与迁移中心进行连接,单击“确定”按钮。 与迁移中心连接成功后,设置的Edge名称不支持修改。 当总览页面显示状态为“已连接”,代表与MgC连接成功。 图1 与MgC连接成功 父主题: 上云操作
导入应用关联文件 将您源端配置管理数据库中的应用关联信息,填入导入模板表格中,再将表格导入迁移中心,分析出应用间的依赖及关联关系。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>资源采集”,进入资源采集页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击任务框
选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 MaxCompute参数 非必填参数,一般为空。如有需要可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按项目筛选,在数据库参数框中输入项目名即可。如果数据库中有不需要迁移的表,
行区分和隔离,从而实现更好的组织管理和资源分配。例如:可为阿里云迁移至华为云创建一个新的项目,里面将包含阿里云平台的主机、数据库、组件等信息。 创建项目 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。选择“项目管理”页签,单击“创建项目”。 在弹出的窗
估确定迁移目的端。 当前支持规格评估的资源类型为:主机、数据库、对象存储、容器、中间件。 已绑定目的端的主机资源,无需进行规格推荐,可直接创建迁移工作流。 前提条件 已完成资源采集,并将采集的资源关联到应用。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“设计>迁移方案设
证方式选择“用户名/密码”,填写在CloudTable服务创建的目的端ClickHouse集群的登录用户名和密码。 数据库链接 填写连接到CloudTable(ClickHouse)的数据库链接地址。可以在ClickHouse集群的基本信息获取,对应参数为“集群访问地址”。 表3
开始和到期日期/时间 需要确保在迁移任务过程中,连接字符串不会失效。 单击“生成SAS和连接字符串”,即可显示连接字符串和SAS令牌、Blob服务SAS URL,单击连接字符串后的复制图标即可复制连接字符串。 可以使用连接字符串来访问 Azure 存储。 父主题: 存储迁移
参数配置完成后,单击“测试连接”,系统会校验配置信息并与组件建立连接,测试通过代表与组件连接成功。 测试连接通过后,单击“确认”按钮,创建大数据组件连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。 父主题: 创建源端连接
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明
将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset) 目标表(TargetTable) 目标连接名称(TargetConnectionName) 目标组件类型(TargetComponentType) 上游数据库(SourceDataset) 上游表(SourceTable)
Thrift服务端口 填写连接MetaStore的端口,默认为9083。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与组件建立连接,测试通过代表与组件连接成功。 测试连接通过后,单击“确认”按钮,创建大数据组件连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单
Excel编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。
单击“确定”,创建增强型跨源连接。创建完成后,增强型跨源连接的连接状态显示“已激活”,代表该连接创建成功。 添加并配置路由 添加路由 为创建的DLI增强型跨源连接添加两条路由,方法请参考添加路由。路由IP与创建跨源连接时,配置的主机信息IP保持一致。 配置路由 登录虚拟私有云管理控制台。
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明