检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建源端连接是为了允许迁移工具Edge访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。
源端信息参数说明 参数 说明 数据站点类型 选择“HTTP/HTTPS数据源”。 列表路径 填写在步骤二存放URL列表文件的文件夹名称（在本文示例中为minioUrl/），注意要在文件夹名称后面加上“/”。 表3 目的端信息参数说明 参数 说明 数据站点类型 选择“华为云OBS”
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域，单击“创建任务”，弹出创建血缘采集任务窗口。 根据实际作业类型，选择文件类型并配置对应参数。
Spark应用的Driver内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。 父主题： 大数据数据迁移
迁移实施 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题： 大数据数据迁移
客户端，进行sql操作，出现用同一个命令存在返回值不同的情况。 这是因为在进行大数据对数的求和计算时，由于分布式计算顺序的不确定性，可能会导致计算结果的不一致性。特别是处理接近或等于double类型最大值（1.7976931348623157E+308）的数据时，加上一个较小的数值（如2.0）可能会导致数值溢
务执行结果进行过滤，如有过滤，则只导出过滤后的数据。 图1 导出执行结果 单击“导出管理”按钮，右侧弹出导出管理窗口。 当导出进度为导出成功后，单击操作列的“下载”，可以将导出结果下载到本地。 图2 下载导出结果 父主题： 大数据数据迁移
创建执行机连接 执行机是获取数据的任务执行单元，需要分别与源端和目的端的执行机建立连接，然后执行数据统计，统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验： Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据） Hudi（有元数据）
创建目的端组件连接 对大数据组件数据进行一致性校验时，需要与大数据组件建立连接，用于数据查询。 目前支持创建连接的大数据组件包括： Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页
刷新采集项列表查看采集项是否存在。 新增数据源失败。 请联系技术支持人员或提交工单。 数据源不存在。 刷新采集项列表查看数据源是否存在。 重新采集数据源失败。 刷新采集项列表查看该数据源是否存在，或联系技术支持人员。 删除数据源失败。 刷新采集项列表查看该数据源是否已删除，或联系技术支持人员。 修改数据源名称失败。
vector %s 问题描述 进行大数据数据迁移时，部分表迁移失败，报错：no more field nodes for for field %s and vector %s 解决方法 基于源端表创建临时表，使用临时表进行数据迁移。 父主题： 大数据数据迁移
存储迁移相关最佳实践 迁移其他云平台存储数据至华为云 OBS多前缀批量迁移 归档存储（冷存储）数据迁移 SFS1.0迁移至SFS 3.0 NAS到NAS迁移和割接方案 文件存储批量迁移 通过HTTP迁移MinIO存储数据到华为云OBS 通过HTTP迁移Ceph存储数据到华为云OBS
IBUTE_NOT_SAME”。 解决方法 根本原因是元数据校验失败。具体分为两种场景： 场景一： 由于元数据中的mtime（修改时间）属性引起的校验失败。当启用元数据保留迁移，且目的端存储为PFS桶时，如果源端对象的元数据包含mtime（修改时间），由于PFS桶中mtime代表
t/rda目录并执行，以自动化采集系统信息。 数据库采集 权限要求：需要使用具有最高权限的账号进行数据库采集，以确保能够访问所有必要的数据。对于不同的数据库系统，应使用以下账号： MySQL：使用root账号。 PostgreSQL：使用postgres账号。 MongoDB： 使用admin权限账号。
勾选需要进行性能采集的主机，单击列表上方的“批量性能采集 > 开始”，启动主机性能采集。此时性能采集列的状态为“采集中”。 开始性能采集后，您还可以进行如下操作： 单击操作列的“查看性能详情”，可以查看采集到的主机性能数据。 单击列表上方的“批量性能采集 > 停止”，可以批量暂停性能数据采集。 配置目的端
购买资源 目的端规格配置完成后，无需切换服务，可以直接在迁移中心批量购买目的端资源。当前仅支持购买主机资源。主机迁移工作流支持自动购买主机资源，通过“购买列表”批量购买资源适用于部分主机需要重新部署的场景。通过购买列表成功购买的主机，将自动绑定为迁移目的端，可以使用主机工作流继续迁移。
准备工作 在使用大数据校验功能前，请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前，需要先在源端环境中安装用于配合大数据校验的迁移工
登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域，单击“查看血缘图”，进入血缘图页面。 通过数据库名、表名筛选需要查看的血缘图。如果进行了大数据校验，还可以通过校验批次进行筛选。 父主题： 血缘采集
血缘采集概述 通过血缘采集，可以建立起数据元素之间的关系和依赖关系，从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知，参见下表。 文件类型 采集须知 血缘模板 需要下载血缘模板，并填写相应数据。 父主题： 血缘采集
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
