检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接,将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake(有元数据)支持创建数据湖元数据同步任务。 Delta Lake(无元数据)只能通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。
步骤二:采集阿里云ECS主机资源 前提条件 已完成准备工作。 已在源端环境中安装MgC Agent,并与迁移中心连接。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择完成准备工作时创建的应用迁移项目。 单击左侧导航栏的“源端发现 > 资源采集”,进入资源采集页面。
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL作业
旧版 权限管理 配置管理 上云调研 资源采集 应用管理 大数据血缘 迁移方案设计 迁移方案配置 迁移集群 迁移工作流 大数据数据迁移 大数据校验
使用须知 约束与限制 MaxCompute不支持datetime类型数据格式,在迁移之前,需要将所有datetime类型的字段转换为字符串(STRING)格式。 MaxCompute不支持varchar和char类型字段,在迁移之前,需要将所有varchar和char类型的字段转换为字符串(STRING)格式。
安装Windows版本 准备工作 建议在源端内网环境中准备一台用于安装MgC Agent(原Edge)的Windows主机,并确保该Windows主机满足以下要求: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 检查是否已开放MgC
安装Windows版本 准备工作 建议在源端内网环境中准备一台用于安装MgC Agent(原Edge)的Windows主机,并确保该Windows主机满足以下要求: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 检查是否已开放MgC
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数
使用须知 约束与限制 MaxCompute不支持datetime类型数据格式,在迁移之前,需要将所有datetime类型的字段转换为字符串(STRING)格式。 MaxCompute不支持varchar和char类型字段,在迁移之前,需要将所有varchar和char类型的字段转换为字符串(STRING)格式。
安装MgC Agent(原Edge)的主机有哪些要求? 安装Windows版本的主机要求 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 检查是否已开放MgC Agent(原Edge)需要的端口,所需端口请查看通信矩阵。 PowerShell
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
准备工作 在使用大数据校验功能前,请务必先完成以下必要的准备工作。 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,并获取账号/IAM用户的访问密钥(AK/SK)。获取方法请参考准备工作。 在创建元数据连接时,如果要使用“采集资源使用信息”
事件记录 MgC Agent(原Edge)提供了一系列日志记录和事件审计功能,允许用户通过控制台界面和日志文件查看和了解操作行为,并进行错误排查和资源定位。 功能介绍 日志记录:系统会生成详细的操作日志,日志文件存储于:{MgC Agent安装路径}/logs/audit/audit
主机评估策略推荐逻辑说明 本节介绍对主机进行规格评估时,关于推荐策略和偏好设置配置项推荐逻辑的详细说明。 表1 评估策略参数说明 参数 子参数 说明 购买区域 - 选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格
MRS Doris迁移至MRS Doris数据校验 本文主要介绍MRS Doris版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC
NAS到NAS迁移和割接方案 概述 适用场景:适用于NAS到NAS迁移过程中源端业务持续运行的场景。 目标:通过多次同步方案迁移增量对象数据,减少源端和目的端数据差异,确保数据迁移的准确性和业务连续性。 源端支持的类型:NAS_SMB、NAS_NFS_V3_MOUNT、NAS_N
导入RVTools资源 约束与限制 版本要求 支持导入RVTools以下版本的导出结果: 4.4.1 4.4.2 4.4.3 4.4.4 4.4.5 4.5.0 4.5.1 4.6.1 文件格式要求 导出结果的文件格式必须为Excel (.xlsx)。 文件大小、压缩比要求 导入的文件大小不能超过100
导入RVTools资源 约束与限制 版本要求 支持导入RVTools以下版本的导出结果: 4.4.1 4.4.2 4.4.3 4.4.4 4.4.5 4.5.0 4.5.1 4.6.1 文件格式要求 导出结果的文件格式必须为Excel (.xlsx)。 文件大小、压缩比要求 导入的文件大小不能超过100
导入RVTools资源 约束与限制 版本要求 支持导入RVTools以下版本的导出结果: 4.4.1 4.4.2 4.4.3 4.4.4 4.4.5 4.5.0 4.5.1 4.6.1 文件格式要求 导出结果的文件格式必须为Excel (.xlsx)。 文件大小、压缩比要求 导入的文件大小不能超过100