检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在功能入口区域,单击“连接管理”,进入连接管理页面。 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。 根据实际情况选择大数据云服务,单击“下一步”,进入详细配置页面。 根据对应的参数配置说明,配置云服务参数。 MaxCompute连接参数配置说明 阿里云云数据库ClickHouse连接参数配置说明
创建并运行元数据同步任务 利用元数据连接,创建元数据同步任务,将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下: Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接 MaxCompute连接
参数配置完成后,单击“测试连接”,系统会校验配置信息并与组件建立连接,测试通过代表与组件连接成功。 测试连接通过后,单击“确认”按钮,创建大数据组件连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。 父主题: 创建源端连接
s”。 数据库地址 填写连接到Doris集群部署的服务器IP地址。 数据库端口 填写连接到Doris集群部署的服务器的端口。默认为3306。 数据库名 填写Doris数据库名称。 表4 HBase连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。 连接名称 默认
填写连接到CloudTable(HBase)的数据库链接地址。可以在HBase集群的基本信息获取,对应参数为“ZK链接地址(内网)”。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与云服务建立连接,测试通过代表与云服务连接成功。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。 在连接管理页面,可
Thrift服务端口 填写连接MetaStore的端口,默认为9083。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与组件建立连接,测试通过代表与组件连接成功。 测试连接通过后,单击“确认”按钮,创建大数据组件连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单
支持规格评估的数据库类型 目前支持规格评估的数据库类型包括:MySQL、PostgreSQL、MongoDB、Oracle和SQL Server。 父主题: 规格评估
也可以自定义名称。 元数据连接 选择已创建的Delta-Lake(有元数据)元数据连接。 数据库 填写需要进行元数据同步的数据库名称。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。
参数配置完成后,单击“测试连接”,系统会校验配置信息并与执行机建立连接,测试通过代表与执行机连接成功。 测试连接通过后,单击“确认”按钮,创建执行机连接完成。 在连接管理页面,可以查看创建的执行机连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。 父主题: 创建目的端连接
启用迁移工具Edge后,单击页面右上角的“创建源端连接”按钮,右侧弹出创建连接窗口。 连接类型选择“MaxCompute”,单击“下一步”。 根据MaxCompute连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 MaxCompute连接参数配置说明 参数 配置说明
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。
连接迁移中心 将Edge与云端MgC控制台建立连接,协助MgC控制台进行资源采集和执行迁移工作流任务。 前提条件 已下载并安装Edge,并完成用户注册。 操作步骤 使用注册的用户名、密码登录Edge控制台,在左侧导航树选择“连接迁移中心”,进入连接迁移中心页面。 在第一步:输入云
的库表清单页签。 单击“新增数据表”按钮,弹出新增数据表窗口。 根据表1,配置参数。 表1 新增数据表参数说明 参数 说明 元数据连接 根据实际需求,选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径(可选) 元数据连接为Delta时,为必填项。
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题: 大数据校验
选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 MaxCompute参数 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按项目筛选,在数据库参数框中输入项目名即可。如果数据库中有不需要迁移的表
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧
选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 MaxCompute参数 非必填参数,一般为空。如有需要可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按项目筛选,在数据库参数框中输入项目名即可。如果数据库中有不需要迁移的表,
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。
QPS)等关键性能指标在内的详细信息。不同的数据库类型,采集的信息详情可能有所差异。 在源端内网环境中或在可以访问到源端数据库的网络环境中安装Edge工具并与迁移中心连接。 在应用发现页面,选择资源列表页签,单击数据库资源的资源数量,进入资源列表页面的数据库页签。 在数据库资源列表中,通过平台类型过
选择“Oracle”。 IP 输入可以连接到源端Oracle数据库服务器的IP地址。 端口 源端Oracle 数据库监听端口。默认为1521。 服务名称/SID 源端数据库待采集的服务名。默认为ORCL。 您可以登录Oracle 数据库,使用如下命令,查看并确定需要采集的服务名称。 SELECT