检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意： 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值（即错误容忍度）。MgC提供了多种类型的对数标准可供选择，关于对数标准的详细说明，可以单击新增表组弹窗中的“查看更多”进行查看。 说明（可选）
分区上限：用于限制查询或处理的分区数量，避免不必要的全表扫描或处理大量不需要的数据。默认为3，取值范围：1~50。 例如，设置分区上限为3，系统只处理降序排序后分区列表中的前3个分区。 单SQL字段上限：每条SQL查询的表的字段上限。单SQL查询的字段数越多，执行时间越长, 如果设置的字段数
在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“连接管理”按钮，进入连接管理页面。 单击页面右上角的“创建目的端连接”按钮，右侧弹出新增连接窗口。 连接类型选择“数据湖探索 （DLI
相同）直接跳过不会被迁移，只保留第一个迁移的同名对象。 直接覆盖：后一个迁移的同名对象会覆盖前一个迁移的同名对象，只保留最后一个迁移的同名对象。 条件覆盖：对于后续迁移的同名对象，根据以下条件决定是否覆盖。 如果最后修改时间较新，则覆盖前一个同名对象。 如果最后修改时间相同，比较
badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true： 当子查询中数据不重复的情况下，执行关联子查询，不需要对子查询的结果去重。 当子查询中数据
表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。 单击页面右上角的“连接管理”按钮，进入连接管理页面。 单击页面右上角的“创建目的端连接”按钮，右侧弹出新增连接窗口。 连接类型选择“数据湖探索 （DLI）”，单击“下一步”，进入详细配置页面。
ECS实例的私有IP地址能够通过SNAT访问外部网络。MgC Agent安装完成后，使用SNAT的公网IP访问MgC Agent，注册用户并连接迁移中心。 步骤六：创建大数据迁移任务 完成步骤一到步骤五的操作，并了解大数据校验任务的使用须知后。按照以下步骤创建大数据数据迁移任务。
如何防止采集数据泄露？ MgC通过以下方式确保采集数据的安全： 数据加密传输：采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证：MgC Agent上的凭证信息都会经过加密处理后保存在本地，不会通过网络传输到云端。 本地数据采集与存储：通过MgC Agent线下采集的信息会被
于后续作业的运行。添加方法请参考添加队列。 创建DLI增强型跨源连接 登录DLI管理控制台，在左侧导航栏单击“资源管理 > 弹性资源池”，可进入弹性资源池管理页面。 单击弹性资源池名称前的，在展开的信息中，获取该弹性资源池的网段。 将弹性资源池的网段加入ECS安全组的入方向规则中。
大数据血缘 部署MgC Agent（原Edge） 采集元数据 血缘采集 父主题： 新版
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集 父主题： 旧版
在使用大数据校验功能前，请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前，需要先在源端环境中安装用于配合大数据校验的迁移工具
准备工作 在使用大数据校验功能前，请务必先完成以下必要的准备工作。 创建大数据迁移项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备MgC Agent（原Edge） 在启用大数据校验功能前，需要先在源端环境中安装用于配合大数据校验的MgC
用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意： 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值（即错误容忍度）。MgC提供了多种类型的对数标准可供选择，关于对数标准的详细说明，可以单击新增表组弹窗中的“查看更多”进行查看。 说明（可选）
分区上限：用于限制查询或处理的分区数量，避免不必要的全表扫描或处理大量不需要的数据。默认为3，取值范围：1~50。 例如，设置分区上限为3，系统只处理降序排序后分区列表中的前3个分区。 单SQL字段上限：每条SQL查询的表的字段上限。单SQL查询的字段数越多，执行时间越长, 如果设置的字段数
DLI凭证 选择DLI云服务的凭证。凭证的添加方法请参考添加资源凭证中的大数据-DLI。如果所选凭证与登录迁移中心账号凭证相同，请勾选“所选凭证与登录迁移中心凭证相同”，系统将根据所选的区域，自动查询账号在该区域下的项目。 区域/项目 选择需要校验的数据所在区域/项目。 队列名称
DLI凭证 选择DLI云服务的凭证。凭证的添加方法请参考添加资源凭证中的大数据-DLI。如果所选凭证与登录迁移中心账号凭证相同，请勾选“所选凭证与登录迁移中心凭证相同”，系统将根据所选的区域，自动查询账号在该区域下的项目。 区域/项目 选择需要校验的数据所在区域/项目。 队列名称
查看并导出执行结果 每运行一次迁移任务，即会生成一条任务实例。在任务实例的进度详情页面，可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载，15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表，单击进度统计列的“查看”，进入进度详情页面。
于后续作业的运行。添加方法请参考添加队列。 创建DLI增强型跨源连接 登录DLI管理控制台，在左侧导航栏单击“资源管理 > 弹性资源池”，可进入弹性资源池管理页面。 单击弹性资源池名称前的，在展开的信息中，获取该弹性资源池的网段。 将弹性资源池的网段加入ECS安全组的入方向规则中。
查看并导出执行结果 每运行一次迁移任务，即会生成一条任务实例。在任务实例的进度详情页面，可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载，15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表，单击进度统计列的“查看”，进入进度详情页面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
