检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与MgC建立连接的MgC Agent。 执行机凭证 选择步骤6.在MgC Agent侧添加的源端Delta Lake执行机凭证。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口，默认为22端口。 Spark客户端目录 填写Spark客户端的bin目录的绝对路径
每次最多支持导入10,000张表。 待导入的表必须属于同一个元数据来源。 导入数据表时，系统不会校验数据表加入的分组数量和对数标准。为保持对数的准确性，建议同一数据表加入的分组不超过3个，并避免加入对数标准相同的分组。 在创建用于MaxCompute迁移到DLI数据校验的表组时，建议先创建coun
每次最多支持导入10,000张表。 待导入的表必须属于同一个元数据来源。 导入数据表时，系统不会校验数据表加入的分组数量和对数标准。为保持对数的准确性，建议同一数据表加入的分组不超过3个，并避免加入对数标准相同的分组。 在创建用于MaxCompute迁移到DLI数据校验的表组时，建议先创建coun
如何查看采集失败原因？ 如果任务状态为“失败”，单击操作列的“查看”，可以查看采集失败的数据源，将鼠标放到数据源的采集状态上，可以查看失败原因。采集失败的数据源，处理完失败原因后，需要删除后通过新增数据源重新采集。 父主题： 资源采集
数据源采集失败，如何重新采集？ 采集失败的数据源，处理完失败原因后，需要删除后通过新增数据源重新采集。 在任务列表页面，单击采集任务操作列的“查看”，进入任务详情页面。 单击采集项操作列的“新增数据源”，弹出新增数据源窗口。 选择区域和资源类型，单击“确认”按钮。新增数据源成功，系统开始对新增的数据源进行采集。
MgC通过以下方式确保采集数据的安全： 数据加密传输：采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证：MgC Agent上的凭证信息都会经过加密处理后保存在本地，不会通过网络传输到云端。 本地数据采集与存储：通过MgC Agent线下采集的信息会被安全地保存在本地。在将本地采集的数据上传到
数据流：数据流涉及从源端到目的端的数据传输。为确保数据流的畅通，需要检查目的端服务器的安全组配置，确保目的端安全组对源端IP开放了指定的迁移端口。如果源端主机无法直接访问公网或与目的端直接通信，需要配置代理服务器。在这种情况下，需要额外考虑以下因素： 代理服务器的配置，确保它能够正确转发源端主机的流量。
在使用大数据校验功能前，请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前，需要先在源端环境中安装用于配合大数据校验的迁移工具Edge。大数据校
创建项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。包含的项目类型和对应的使用场景说明如下： 应用迁移项目：适用于需要进行主机、存储等资源的采集、迁移场景。 复杂迁移（大数据迁移）项目：适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。
项目管理 功能概述 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。包含的项目类型和对应的使用场景说明如下： 应用迁移项目：适用于需要进行主机、存储等资源的采集、迁移场景。 复杂迁移（大数据迁移）项目：适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。
场景一： 由于元数据中的mtime属性引起的校验失败。在对象存储数据迁移过程中，如果启用了元数据保留迁移，且目的端存储为PFS桶，可能会因为源端对象的元数据中包含mtime属性而导致校验失败。这是因为对象存储中的mtime属性（自定义）与PFS桶中的mtime属性（最后修改时
血缘采集概述 通过血缘采集，可以建立起数据元素之间的关系和依赖关系，从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知，参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶，并将桶的读写权限委托给迁移中心。 SQL作业 需
调研采集过程是否会对源端业务产生影响？ MgC采用高效的数据采集算法，确保数据采集可以在较短的时间内完成，有效避免了长时间的资源占用，最大限度减少了对源端业务的影响。 父主题： 产品咨询
数据迁移失败，提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败，在数据湖探索的Spark作业查看报错信息为：The throttling thershold has been reached 问题分析 出现该问题，是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法 请联系DLI服务技术支持人员，调整流控上限。
血缘采集概述 通过血缘采集，可以建立起数据元素之间的关系和依赖关系，从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知，参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶，并将桶的读写权限委托给迁移中心。 SQL作业 需
MgC利用部署在源端网络中的MgC Agent完成数据采集。 数据采集架构图，如图1所示。 图1 MgC Agent远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景，针对不同云服务提供商（友商）的云资源进行数据采集。使用API接口与其它云服务提供商的系统进行交互，实
可用区（AZ）迁移有哪些注意事项？ 密码一致性 如果源端Windows主机安装了 Cloudbase-Init 插件，会导致新下发的主机生成随机密码，从而与源端密码不一致，因此迁移前需要将 Cloudbase-Init 插件卸载。 账号余额 由于AZ迁移需要进行创建存储库、服务器
选择在完成准备工作时与迁移中心连接成功的Edge。 阿里云凭证 选择完成准备工作时，在Edge侧添加的阿里云（AK/SK）凭证。 项目名称 输入待迁移数据所在的MaxCompute项目名称。项目名称可在MaxCompute控制台的项目管理中获取。 Endpoint 输入MaxCompute服务所在地域的VPC网络Endpoint信息。
MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。 单击页面右上角的“连接管理”按钮，进入迁移准备页面。
为什么MgC迁移进度和SMS迁移进度显示不一致？ MgC主机工作流的迁移进度和SMS任务的迁移进度不一致是因为两者的步骤划分和计算进度的方式不同。SMS任务的迁移总进度是根据具体的任务阶段来划分的，而MgC主机工作流则是通过一个更简单的计算方法来估算进度。 SMS迁移任务总进度划分 SMS任务迁移总进度分为以下几个阶段：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
