检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库链接 填写连接源端ClickHouse集群的外网地址。可以在集群信息页面,查看外网地址。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与云服务建立连接,测试通过代表与云服务连接成功。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。 在连接管理页面,可以查看
启用迁移工具Edge后,单击页面右上角的“创建源端连接”按钮,右侧弹出创建连接窗口。 连接类型选择“MaxCompute”,单击“下一步”。 根据MaxCompute连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 MaxCompute连接参数配置说明 参数 配置说明
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 选择连接类型,单击“下一步”,进入详细配置页面。 根据所选的连接类型,查看对应的参数配置说明,配置连接参数。 Hive Metastore连接参数配置说明 Doris连接参数配置说明 HBase连接参数配置说明 ClickHouse组件参数配置说明
参数配置完成后,单击“测试连接”,系统会校验配置信息并与组件建立连接,测试通过代表与组件连接成功。 测试连接通过后,单击“确认”按钮,创建大数据组件连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。 父主题: 创建源端连接
Thrift服务端口 填写连接MetaStore的端口,默认为9083。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与组件建立连接,测试通过代表与组件连接成功。 测试连接通过后,单击“确认”按钮,创建大数据组件连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单
参数配置完成后,单击“测试连接”,系统会校验配置信息并与执行机建立连接,测试通过代表与执行机连接成功。 测试连接通过后,单击“确认”按钮,创建执行机连接完成。 在连接管理页面,可以查看创建的执行机连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。 父主题: 创建目的端连接
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。
测试连接通过后,单击“确认”按钮,创建云服务连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。 父主题: 创建目的端连接
创建并运行元数据同步任务 利用元数据连接,创建元数据同步任务,将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下: Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接 MaxCompute连接
在高级设置区域,保持IP不变参数选择“是”,仔细阅读高危操作提示并了解使用该功能的免责声明后,单击“确认”,启动IP不变功能。 本文只介绍保持IP不变参数的配置方法,其余参数根据实际需求配置。 在保持IP不变-虚拟私有云的下拉列表中,选择包含源端私有IP网段的VPC;在保持IP不变-子网的
如果是云数据库,请参考各云厂商数据库的说明文档: 华为云 云数据库RDS 阿里云 云数据库RDS exclude_ip 否 填写不需要采集的客户端IP地址,多个IP地址之间用逗号分隔。例如:127.0.0.1,192.168.1.1 password 是 填写登录用户名对应的密码。
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题: 大数据校验
Redis采集器(app-discovery-redis) 通过连接到Redis节点,获取Redis节点IP、版本、连接客户端IP信息。参数配置说明参见表1。 表1 Redis采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-redis-xxx
连接迁移中心 将Edge与云端MgC控制台建立连接,协助MgC控制台进行资源采集和执行迁移工作流任务。 前提条件 已下载并安装Edge,并完成用户注册。 操作步骤 使用注册的用户名、密码登录Edge控制台,在左侧导航树选择“连接迁移中心”,进入连接迁移中心页面。 在第一步:输入云
username,ip,port,password username:该字段表示登录源端主机时所使用的用户名。为了确保脚本具有足够的权限执行修改操作,通常应使用具有管理员权限的用户名,如root。 ip:该字段表示源端主机的内网IP地址。 port:该字段表示SSH服务监听的端
据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧导航栏
也可以自定义名称。 元数据连接 选择已创建的Delta-Lake(有元数据)元数据连接。 数据库 填写需要进行元数据同步的数据库名称。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“HBase”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 HBase连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“HBa
将源端数据库中的所有数据迁移到目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大