检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。
务执行结果进行过滤，如有过滤，则只导出过滤后的数据。 图1 导出执行结果 单击“导出管理”按钮，右侧弹出导出管理窗口。 当导出进度为导出成功后，单击操作列的“下载”，可以将导出结果下载到本地。 图2 下载导出结果 父主题： 大数据数据迁移（MaxCompute迁移到DLI）
开通DLI服务Spark 3.3和jar程序访问元数据白名单 数据迁移需要使用DLI服务的Spark 3.3特性和jar程序访问DLI元数据特性，请联系DLI服务的技术支持人员申请开通。 （可选）开通DLI服务Spark生命周期白名单 如果待迁移的元数据有生命周期表（即DDL带有LIFECY
创建源端连接是为了允许迁移工具Edge访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。
窗口。 图1 手工导入 选择“应用关联文件导入”，单击“下载模板”，将导入模板下载到本地。 图2 下载应用关联模板 打开导入模板，填写模板内的参数，其中标黄的参数为必填。模板参数填写完成并保存后，单击导入窗口的“添加文件”，将填写后的模板文件上传至迁移中心。 上传成功后，单击“确
大数据-Hive Metastore凭证文件获取方法 参考访问FusionInsight Manager登录Manager，进入系统页面。 在左侧导航栏，选择“权限>用户”，进入用户页面。 在用户列表，选择要在MgC Agent（原Edge）添加凭证的用户，单击操作列“更多>下载
支持规格评估的数据库类型 目前支持规格评估的数据库类型包括：MySQL、PostgreSQL、MongoDB、Oracle和SQL Server。 父主题： 规格评估
在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“连接管理”按钮，进入连接管理页面。 单击页面右上角的“创建目的端连接”按钮，右侧弹出新增连接窗口。 连接类型选择“数据湖探索 （DLI
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录
Delta Lake数据校验任务存在以下约束与限制： 源端EMR环境的Spark版本为3.3.1时，支持Delta Lake（有元数据）和Delta Lake（无元数据）的数据校验。 源端EMR环境的Spark版本为2.4.8时，仅支持Delta Lake（有元数据）的数据校验。 Hbase校验不支持纯冷数据表。
Agent（原Edge）访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。 单击页面右上角的“连接管理”按钮，进入迁移准备页面。
表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。 单击页面右上角的“连接管理”按钮，进入迁移准备页面。 单击“创建连接”，右侧弹出新增连接窗口。 图1 创建连接 连接类型选择“数据湖探索 （DLI）”，单击“下一步”，进入详细配置页面。
列连接，元数据迁移需要使用DLI SQL队列连接，数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败，因此在配置任务时，必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时，MgC会根据识别到的源端数据库的数量，在DL
比较文件大小，大小不同则源端覆盖目的端文件；如果最后修改时间和大小都相同，则跳过； 对于文件夹迁移：当文件迁移完成后再比对文件夹大写、时间和权限，如果文件夹大小不同/时间不相同/权限不相同，则源端覆盖目的端文件夹； 说明： 对于空文件夹，覆盖策略与文件相同。 迁移元数据 - 选择是否迁移元数据。
创建大数据迁移项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备MgC Agent（原Edge） 在启用大数据校验功能前，需要先在源端环境中安装用于配合大数据校验的MgC Agent。大数据校验场景仅支持Linux版本的MgC
将HTTP/HTTPS数据源迁移到OBS时，如果存在URL不同但对象名称相同的情况，会如何处理？ 当从HTTP/HTTPS数据源迁移数据到对象存储服务（OBS）时，由于OBS不区分URL差异，只识别对象名称，因此同名对象会根据创建工作流时，迁移配置中所选的“同名覆盖方式”策略进行
件覆盖。选择“不覆盖”策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会造成部分数据未完全迁移，而任务显示成功的现象，影响数据的完整性。为规避这一风险，请谨慎使用“不覆盖”策略。 前提条件 已提前创建目的端对象桶或弹性文件系统。 已提前创建迁移集群。 操作步骤
TPS协议，建议迁移时使用HTTPS协议；若使用HTTP协议，会存在数据可能会被监听窃取、数据被篡改、中间人重放攻击等风险。 数据站点类型选择HTTP/HTTPS数据源时填写。 文件存储服务地址 输入源端文件系统的挂载地址，格式为：IP地址+:/或IP地址+:/ xxx，例如：192
Spark应用的Driver内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。 父主题： 大数据数据迁移
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
