检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
元数据增量感知 识别出上一次迁移后，在源端数据库中发生变化的元数据，并同步至目的端华为云数据湖探索（DLI）。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前，请联系技术支持人员，将您添加到spark
按钮，创建数据湖元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“数据湖元数据同步任务-4位随机数（字母和数字）”，也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库（可选） 填写需要进行元数据同步的数据库名称。不填则代表同步全部数据库。
完成所有表信息的添加后，保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。 目的端配置 覆盖策略 对已有表的处理策略 跳过：如果目的端已经存在同名的数据表，将忽略该表，不会对其进行任何操作。 重建：如果目的端已经存在同名的数据表，该表及其数据将被完全删除，并根据源端的定义重新创建。
您可以输入用于区分表组的说明。 在表管理页面，选择库表清单页签，勾选要加入同一表组的数据表，单击列表上方的“表组管理 > 批量加入组”，在弹出的修改表组窗口中，选择要加入的表组，单击“确认”。 如果需要新增数据表，可以通过导入数据表的方式添加，方法请参考导入数据表并加入表组。 在大数据校验页面
应用发现 应用发现常见问题和处理方法 如何查看采集失败原因？ 公网采集失败，提示：“网络连接超时”或“其他异常” 数据源采集失败，如何重新采集？ 如何获取云平台凭证（AK/SK）？ 如何获取添加Azure凭证所需的信息？ 如何获取Azure对象存储深度采集所需凭证？ 如何配置采集Azure容器资源所需权限？
勾选需要关联到同一应用的资源，单击页面左上角的“关联到应用”，弹出关联到应用窗口。 在下拉列表中选择需要关联的应用。未提前创建应用，单击“新建应用”，输入自定义的应用名称和描述；根据实际需求，选择业务场景、使用场景以及目的端区域，单击“创建”按钮，应用创建成功。 选择应用后，单击“确定”。在各资源的已关联应用列，查看资源所关联应用。
您可以输入用于区分表组的说明。 在表管理页面，选择库表清单页签，勾选要加入同一表组的数据表，单击列表上方的“表组管理 > 批量加入组”，在弹出的修改表组窗口中，选择要加入的表组，单击“确认”。 如果需要新增数据表，可以通过导入数据表的方式添加，方法请参考导入数据表并加入表组。 在大数据校验页面
DeltaLake（无元数据）迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据，无法通过数据湖元数据同步方式进行数据采集，需要通过导入数据的方式获取元数据信息。
也可以自定义名称。 元数据连接 根据实际需求，选择已创建的元数据连接类型。 数据库 填写需要进行元数据同步的数据库名称。 须知： 元数据连接为MaxCompute类型时，该参数为必填参数，不能为空。其他元数据连接类型，该参数为可选参数，不填则代表同步全部数据库。 并发线程数 设置
选择在Edge添加的Doris凭证。凭证的添加方式请参考添加资源凭证，类型选择“大数据-Doris”。 数据库地址 填写连接到Doris集群部署的服务器IP地址。 数据库端口 填写连接到Doris集群部署的服务器的端口。默认为3306。 数据库名 填写Doris数据库名称。 表4 HBase连接参数配置说明
Lake（无元数据） Hudi（有元数据） Hudi（无元数据） 大数据云服务 MaxCompute 阿里云云数据库ClickHouse 前提条件 已完成准备工作。 操作步骤 创建元数据连接的详细介绍请参考创建元数据连接。 大数据校验场景仅支持Linux版本的Edge，安装方法请参考下载并安装Linux版本Edge。
您可以输入用于区分表组的说明。 在表管理页面，选择库表清单页签，勾选要加入同一表组的数据表，单击列表上方的“表组管理 > 批量加入组”，在弹出的修改表组窗口中，选择要加入的表组，单击“确认”。 如果需要新增数据表，可以通过导入数据表的方式添加，方法请参考导入数据表并加入表组。 在大数据校验页面
您可以输入用于区分表组的说明。 在表管理页面，选择库表清单页签，勾选要加入同一表组的数据表，单击列表上方的“表组管理 > 批量加入组”，在弹出的修改表组窗口中，选择要加入的表组，单击“确认”。 如果需要新增数据表，可以通过导入数据表的方式添加，方法请参考导入数据表并加入表组。 在大数据校验页面
您可以输入用于区分表组的说明。 在表管理页面，选择库表清单页签，勾选要加入同一表组的数据表，单击列表上方的“表组管理 > 批量加入组”，在弹出的修改表组窗口中，选择要加入的表组，单击“确认”。 如果需要新增数据表，可以通过导入数据表的方式添加，方法请参考导入数据表并加入表组。 在大数据校验页面
应用场景 应用现状调研 提供丰富的调研能力，支持其他云厂商或者自建IDC中的应用现状调研，并且绘制对应架构图和依赖图，为后续迁移计划的制定提供帮助。 主机批量迁移 提供高灵活、可定制的迁移工作流，根据采集的源端主机性能数据，推荐最合适的华为云主机规格，帮助用户一站式大批量发起迁移任务。
您可以输入用于区分表组的说明。 在表管理页面，选择库表清单页签，勾选要加入同一表组的数据表，单击列表上方的“表组管理 > 批量加入组”，在弹出的修改表组窗口中，选择要加入的表组，单击“确认”。 如果需要新增数据表，可以通过导入数据表的方式添加，方法请参考导入数据表并加入表组。 在大数据校验页面
该资源的详细信息。 查看应用列表 在应用发现页面的应用列表页签，可以查看采集到的所有应用。通过应用列表可以查看应用名称、应用类型、所属业务领域、包含微服务数量以及依赖应用和被依赖应用数量等信息。 单击包含微服务列的数量，可以查看该应用所包含的微服务列表。 单击依赖应用列的数量，可以查看该应用所依赖的服务列表。
客户端，进行sql操作，出现用同一个命令存在返回值不同的情况。 这是因为在进行大数据对数的求和计算时，由于分布式计算顺序的不确定性，可能会导致计算结果的不一致性。特别是处理接近或等于double类型最大值（1.7976931348623157E+308）的数据时，加上一个较小的数值（如2.0）可能会导致数
executorCores 1- 4 Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory
您可以输入用于区分表组的说明。 在表管理页面，选择库表清单页签，勾选要加入同一表组的数据表，单击列表上方的“表组管理 > 批量加入组”，在弹出的修改表组窗口中，选择要加入的表组，单击“确认”。 如果需要新增数据表，可以通过导入数据表的方式添加，方法请参考导入数据表并加入表组。 在大数据校验页面
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
