检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业
限速的数值范围:0~1048576 MB/s 。 最多可以创建5条记录。 时区时间以目的端Region的当地时间为准。 工作流配置完成后,单击“下一步:确认并创建”按钮,进入确认并创建页面。 确认配置信息无误后,单击“确认创建工作流”,弹出启动工作流窗口,此时工作流已创建完成。 如果您希望立即开始迁移,则单击“确认”按钮,立即运行工作流。
限速的数值范围:0~1048576 MB/s 。 最多可以创建5条记录。 时区时间以目的端Region的当地时间为准。 工作流配置完成后,单击“下一步:确认并创建”按钮,进入确认并创建页面。 确认配置信息无误后,单击“确认创建工作流”,弹出启动工作流窗口,此时工作流已创建完成。 如果您希望立即开始迁移,则单击“确认”按钮,立即运行工作流。
192.168.255.255 Linux 填写Linux系统类型主机需要扫描的端口。如果不需要扫描Linux类型主机,可将端口设为0。 Windows 填写Windows系统类型主机需要扫描的端口。如果不需要扫描Windows类型主机,可将端口设为0。 应用 可选参数,选择采集到的
限速的数值范围:0~1048576 MB/s 。 最多可以创建5条记录。 时区时间以目的端Region的当地时间为准。 工作流配置完成后,单击“下一步:确认并创建”按钮,进入确认并创建页面。 确认配置信息无误后,单击“确认创建工作流”,弹出启动工作流窗口,此时工作流已创建完成。 如果您希望立即开始迁移,则单击“确认”按钮,立即运行工作流。
前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选
192.168.255.255 Linux 填写Linux系统类型主机需要扫描的端口。如果不需要扫描Linux类型主机,可将端口设为0。 Windows 填写Windows系统类型主机需要扫描的端口。如果不需要扫描Windows类型主机,可将端口设为0。 应用 可选参数,选择采集到的
255 Linux 填写Linux系统类型主机需要扫描的端口。仅TCP协议需要填写,若不需要扫描Linux类型主机,可将端口设为0。 Windows 填写Windows系统类型主机需要扫描的端口。仅TCP协议需要填写,若不需要扫描Windows类型主机,可将端口设为0。 选择VM
处理老旧系统版本的内存限制问题。 如果源端主机系统版本较旧(如Windows Server 2008或Windows Server 2012),WinRM服务可能不使用自定义的MaxMemoryPerShellMB配额值,而是使用默认值,通常为150 MB。在这种情况下,脚本可能因为内存不足而中断。解决方法如下:
限速的数值范围:0~1048576 MB/s 。 最多可以创建5条记录。 时区时间以目的端Region的当地时间为准。 工作流配置完成后,单击“下一步:确认并创建”按钮,进入确认并创建页面。 确认配置信息无误后,单击“确认创建工作流”,弹出启动工作流窗口,此时工作流已创建完成。 如果您希望立即开始迁移,则单击“确认”按钮,立即运行工作流。
255 Linux 填写Linux系统类型主机需要扫描的端口。仅TCP协议需要填写,若不需要扫描Linux类型主机,可将端口设为0。 Windows 填写Windows系统类型主机需要扫描的端口。仅TCP协议需要填写,若不需要扫描Windows类型主机,可将端口设为0。 选择VM
已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。 单击页面右上角的“创建迁移任务”按钮,右侧弹出创建迁移任务窗口。
配置Edge Tomcat服务器JVM参数 Windows系统 以下步骤以Windows 11 为例。 启动脚本位置。 在MgC Agent安装目录下(默认为C:\Edge):.\tools\SecAs-1.2.29\bin\startup.bat,启动脚本。 配置JVM参数。 进入MgC
时,安装MgC Agent的主机规格最低要求为8U16G,且可使用内存不小于8G。 Windows主机:MgC Agent最多同时采集500台Windows主机,当同时采集500台Windows主机时,安装MgC Agent的主机规格最低要求为16U32G,且可使用内存不小于8G。
元数据。 前提条件 已创建元数据连接。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。 在元数据采集区域,单击“创建任务 > 元数据同步”按钮,右侧弹出创建任务-元数据同步窗口。
配置采集器插件JVM参数 Windows系统 以下步骤以Windows 11 ,采集器rda-collector-server为例。 启动脚本位置。 MgC Agent安装目录(默认为C:\Edge) .\tools\plugins\collectors\rda-collector-server\bin\start
可以根据源端主机磁盘的实际使用量,进行缩容,即小于源端磁盘容量。更改磁盘规格后,系统会自动判断是否进行了磁盘缩容,在主机资源配置明细列表中的“磁盘缩容”列,“是”代表已缩容;“否”代表未缩容。 系统盘容量取值范围为:40 G~1024 G 数据盘容量取值范围为:10 G~32768
创建并运行元数据同步任务 利用元数据连接,创建元数据同步任务,将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下: Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接
已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。
窗口。如果在创建在线调研任务时,已经配置应用参数,可以跳过该步骤。 已提前创建应用,在下拉列表中选择要关联的应用,单击“确定”。 未提前创建应用,单击“新建应用”,输入自定义的应用名称和描述,选择业务场景、使用场景和目的端区域,单击“创建”按钮,应用创建成功。选择创建的应用后,单击“确定”。