检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
感知-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择在完成准备工作时与迁移中心连接成功的MgC Agent。 源端配置 源端连接 选择创建的源端连接。 MaxCompute参数(可选) 非必填参数,一般为空。如有需要可参考MaxCompute参数文档进行配置。
迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择在完成准备工作时与迁移中心连接成功的MgC Agent。 源端配置 源端连接 选择创建的源端连接。 MaxCompute参数 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。
默认创建名称为“MaxCompute到DLI元数据增量感知-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 时间范围 全量区间:全量识别出上一次元数据迁移后,在源端数据库中发生变化的元数据。 增量区间:选择T-N区
默认创建名称为“MaxCompute到DLI全量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 预估项目周期(天)(可选) 配置后,系统会在任务执行时检查表的生命周期。若表的生命周期在项目的预期结束时间
需要对安装MgC Agent的主机开放22端口。 需要开放root账号的直接连接权限。即允许通过SSH等远程连接方式使用root账号登录到源端Linux主机。 需要启用SFTP和SSH服务。 需要支持以下SSH连接安全算法: ssh-ed25519、ecdsa-sha2-nistp25
Agent在MgC控制台显示的名称,单击“连接”按钮,确认要与迁移中心进行连接,单击“确定”按钮。 与迁移中心连接成功后,设置的MgC Agent名称不支持修改。 当总览页面显示状态为“已连接”,代表与MgC连接成功。 图2 与MgC连接成功 添加资源凭证 支持在MgC Agen
默认创建名称为“MaxCompute到DLI增量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 增量区间 选择T-N区间作为增量数据的迁移范围,即任务开始执行时间的前 24 x N 小时内的增量数据。例如:选择T-1,2024/06/06
准备工作 建议在源端内网环境中准备一台用于安装MgC Agent的Linux主机,并确保该Linux主机满足以下要求: 可以连接外网,并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名。 检查是否已开放MgC Agent(原Edge)需要的端口,所需端口请查看通信矩阵。
在创建元数据连接时,如果要使用“采集资源使用信息”功能和查看资源概览,需要为IAM账号的AK/SK添加MRS服务和DLI服务的只读权限(ReadOnly)。 创建大数据迁移项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。
IP。 配置完成后,单击“立即创建”。 配置VPN连接。创建两条VPN连接,分别连接华为云VPN网关和阿里云对端网关。 在左侧导航树选择“虚拟专用网络 > 企业版-VPN连接”。 单击“创建VPN连接”,选择已创建的VPN网关和对端网关,并填入对端网关的子网地址(确保子网地址不重合)。
int对照表。 单击“确定”,创建增强型跨源连接。创建完成后,增强型跨源连接的连接状态显示“已激活”,代表该连接创建成功。 添加并配置路由 添加路由 为创建的DLI增强型跨源连接添加两条路由,方法请参考添加路由。路由IP与创建跨源连接时,配置的主机信息IP保持一致。 配置路由 登录虚拟私有云管理控制台。
法正常运行。 前提条件 已成功连接迁移中心。 添加华为云凭证 如果在连接迁移中心时,未选择保存华为云凭证,连接成功后,可以按照如下步骤添加华为云凭证。 在MgC Agent(原Edge)控制台的总览页面,单击页面右上角的“查看配置”按钮,右侧弹出连接配置窗口。 在华为云账号框中,单击“配置”按钮。
Agent在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。 端口占用:MgC Agent会占用源端主机上的一些端口,也可能会对源端业务产生影响。 安装Linux版本的主机要求 可以连接外网,并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名。
目标数据库(TargetDataset) 目标表(TargetTable) 目标连接名称(TargetConnectionName) 目标组件类型(TargetComponentType) 上游数据库(SourceDataset) 上游表(SourceTable) 上游连接名称(SourceConnectionName)
根据表2,填写相应参数。 表2 添加数据库参数配置说明 参数 说明 名称 用户自定义 采集设备 选择在源端注册并与迁移中心连接的Edge。 类型 选择“Oracle”。 IP 输入可以连接到源端Oracle数据库服务器的IP地址。 端口 源端Oracle 数据库监听端口。默认为1521。 服务名称/SID
目标数据库(TargetDataset) 目标表(TargetTable) 目标连接名称(TargetConnectionName) 目标组件类型(TargetComponentType) 上游数据库(SourceDataset) 上游表(SourceTable) 上游连接名称(SourceConnectionName)
MongoDB采集器(app-discovery-mongodb) 采集MongoDB服务信息,获取客户端连接信息。参数配置说明参见表1。 表1 MongoDB采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-mongodb-xxx
添加数据库参数配置说明 参数 说明 名称 用户自定义 迁移中心Agent绑定 选择在源端注册并与迁移中心连接的MgC Agent。 类型 选择“Oracle”。 IP 输入可以连接到源端Oracle数据库服务器的IP地址。 端口 源端Oracle 数据库监听端口。默认为1521。 服务名称/SID
Kafka采集器(app-discovery-kafka) 通过连接到Kafka节点,获取Kafka节点IP、版本、消费者信息等。参数配置说明参见表1。 表1 Kafka采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-kafka-xxx
支持重复上传,不会重复创建同名凭证。 单击“确定”,完成凭证导入。如果连接了迁移中心,导入成功后,系统会自动将凭证同步至迁移中心,并与资源进行绑定。 同步凭证 如果MgC Agent与MgC控制台断开连接,重新连接后,需要手动将凭证同步至迁移中心。在MgC Agent凭证管理界面的凭证区域,单击“同步”按钮即可。