检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
仅适用于华为云弹性云服务可用区下线迁移,该策略只会为应用中的主机资源推荐规格。选择该策略同时需要选择目的可用区。 优先级设置 性能优先 推荐的目的端规格要求性能最佳。 价格优先 推荐的目的端规格在满足要求的前提下尽量节约成本。 偏好设置(可选) 主机资源的设置,对于数据库资源暂不涉及。 配置完成后,
选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 时间范围 全量区间:全量识别出上一次元数据迁移后,在源端数据库中发生变化的元数据。 增量区间:选择T-N区间作为增量元数据的识别范围,即任务开始执行时间的前 24 x N 小时内的增量元数据。例如:选择T-1,2024/06/06
移时,单击操作列的“运行”,手动启动迁移。 迁移任务运行后,单击操作列的“查看实例”,进入任务进度页签,可以查看该任务产生的运行实例以及迁移进度。 单击进度统计列的“查看”,进入进度详情页面。可以查看元数据的增量感知结果并导出任务结果。 单击进度详情页面右上角的“打开DDL编辑器
填写集群配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的存储路径填写到此处。
根据MgC主机工作流中的资源名称,在迁移服务器列表找到对应的服务器,单击目的端列的“设置目的端”,进入迁移配置页面。 勾选高级配置后的“现在配置”,打开高级配置项。 单击“是否调整分区”配置项后面的“调整磁盘分区”按钮,弹出磁盘分区调整窗口。 根据工作流配置的目的端规格,调整目的端
每添加完一个表的信息后,使用回车键换行。 完成所有表信息的添加后,保存CSV文件的更改。 单击“指定分区迁移文件”下的“添加文件”,将编辑并保存好的CSV文件上传至MgC。 增量区间 选择T-N区间作为增量数据的迁移范围,即任务开始执行时间的前 24 x N 小时内的增量数据。例如:选择T-1,2024/06/06
于后续作业的运行。添加方法请参考添加队列。 创建DLI增强型跨源连接 登录DLI管理控制台,在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 单击弹性资源池名称前的,在展开的信息中,获取该弹性资源池的网段。 将弹性资源池的网段加入ECS安全组的入方向规则中。
于后续作业的运行。添加方法请参考添加队列。 创建DLI增强型跨源连接 登录DLI管理控制台,在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 单击弹性资源池名称前的,在展开的信息中,获取该弹性资源池的网段。 将弹性资源池的网段加入ECS安全组的入方向规则中。
实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 元数据采集完成后,在元数据列表单击血缘列的“去采集”,可以创建血缘采集任务。
数据流:数据流涉及从源端到目的端的数据传输。为确保数据流的畅通,需要检查目的端服务器的安全组配置,确保目的端安全组对源端IP开放了指定的迁移端口。如果源端主机无法直接访问公网或与目的端直接通信,需要配置代理服务器。在这种情况下,需要额外考虑以下因素: 代理服务器的配置,确保它能够正确转发源端主机的流量。
单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 图3 任务实例管理 元数据采集完成后,在元数据列表单击血缘列的“去采集”,可以创建血缘采集任务。
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
可以指定数据表所属业务的责任人。 分析责任人(可选) 可以指定数据表的分析责任人。 跨源表 根据实际需求设置。设为跨源表后不再显示该表一致性校验结果。 说明(可选) 您可以输入用于数据表的说明。 参数配置完成后,单击“确认”按钮,完成数据表新增。在库表清单列表中可以查看新增的数据表。 批量导入数据表
通过采集任务获取元数据 创建采集任务的方法请参考创建并运行元数据同步任务。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 手动添加数据表 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选
失败或已完成的数据源。 删除采集项失败。 请检查该采集项状态是否为等待中,仅允许删除等待中的采集项。 删除采集任务失败,存在运行中采集项。 刷新采集项列表查看是否存在运行中的采集项,运行中的采集项时不允许删除采集任务。 导入文件的大小超出限制。 请导入10MB以内的文件。 文件名无效。
与MgC建立连接的MgC Agent。 执行机凭证 选择步骤6.在MgC Agent侧添加的源端Delta Lake执行机凭证。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 Spark客户端目录 填写Spark客户端的bin目录的绝对路径
ip:该字段表示源端主机的内网IP地址。 port:该字段表示SSH服务监听的端口号。默认情况下,Linux系统使用端口22。如果源端主机的SSH服务运行在自定义端口上,请在此处指定正确的端口号。 password:该字段表示登录源端主机时所需的密码。脚本将使用此密码通过SSH协议自动登录到源端主机。
在执行IP不变的迁移操作前,目的端主机必须处于关机状态。如果目的端未关机,IP不变功能将尝试自动关机以确保迁移的顺利进行。 指定子网 需要指定最终切换的VPC中的子网,并且该子网的网段必须与源端的网段保持一致。 网卡绑定限制 目的端主机应只绑定一个网卡,不绑定任何额外的扩展网卡。 IP版本支持
详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。 优先级设置 性能优先 推荐的目的端规格要求性能最佳。 价格优先 推荐的目的端规格在满足要求的前提下尽量节约成本。 偏好设置 虚拟机类型偏好(可选) 选择期望的目的端主机类型,支持多选。 虚拟机规格族偏好(可选) 根据选择的主机类
选择外表进行迁移时,迁移后的数据会存储在您指定的OBS路径下。 目的端配置 覆盖策略 对已有表的处理策略 跳过:如果目的端已经存在同名的数据表,将忽略该表,不会对其进行任何操作。 重建:如果目的端已经存在同名的数据表,该表及其数据将被完全删除,并根据源端的定义重新创建。 目的端连接 选择创建的目的端DLI