检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL作业
具备审计日志:导出操作会生成日志记录,这些日志可以用于审计和追踪导出活动,确保操作的透明性和可追溯性。 导出数据项透明展示:所有被导出的数据项都是透明的,可以通过查看采集项列表来了解哪些数据将被导出。 传输加密:数据在上传至MgC服务侧时,使用加密通道来保护数据在传输过程中的安全。 通道认证:只有经
连接类型选择“MaxCompute”,单击“下一步”。 根据MaxCompute连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 MaxCompute连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“MaxCompu
(DLI)”,单击“下一步”,进入详细配置页面。 图2 选择DLI 根据DLI服务参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“DLI-4位随机数(字母和数字)”,也可以自定义名称。
使用信息”功能和查看资源概览,需要为IAM账号的AK/SK添加MRS服务和DLI服务的只读权限(ReadOnly)。 创建大数据迁移项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备MgC Agent(原Edge)
连接类型选择“数据湖探索 (DLI)”,单击“下一步”,进入详细配置页面。 根据DLI服务参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“DLI-4位随机数(字母和数字)”,也可以自定义名称。
连接类型选择“MaxCompute”,单击“下一步”。 图2 选择MaxCompute 根据MaxCompute连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 MaxCompute连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“MaxCompu
如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。采集失败的数据源,处理完失败原因后,需要删除后通过新增数据源重新采集。 父主题: 资源采集
PowerShell 远程管理模块 通常Windows Server 2012及更高版本已默认启用PowerShell远程处理。如果更改了设置,可以通过以下方法重新启用PowerShell远程管理。 以管理员权限启动PowerShell。 执行如下命令,即可启用PowerShell远程管理。
存储迁移成本调研 迁移中心 MgC提供了存储迁移成本评估功能,通过输入源端文件数量和大小、设定期望迁移时长等参数,系统会自动计算迁移所需的集群规格、网络带宽和迁移成本,并给出不同的迁移方案,用户可以根据项目需求和预算选择合适的迁移策略。 操作步骤 登录迁移中心管理控制台。 单击左
存储迁移成本调研 迁移中心 MgC提供了存储迁移成本评估功能,通过输入源端文件数量和大小、设定期望迁移时长等参数,系统会自动计算迁移所需的集群规格、网络带宽和迁移成本,并给出不同的迁移方案,用户可以根据项目需求和预算选择合适的迁移策略。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。
MaxCompute参数(可选) 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。 数据范围 数据迁移策略 时间过滤:通过数据变化发生的时间,过滤出需要迁移的增量数据。选择该方式还需要配置“增量区间”、“分区筛选方式”、“按库筛选或按表筛选”等参数。 自定义过
目的端OBS桶需开启CRC64特性白名单。 一致性校验 对象大小与最后修改时间校验 默认配置,通过对比源端和目的端对象大小与最后修改时间,判断迁移后数据是否完整。 CRC64校验 通过对比源端和目的端对象元数据中CRC64值,判断迁移后数据是否完整。如果源端或目的端对象元数据中不
ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接 MaxCompute连接 阿里云云数据库ClickHouse连接 您还可以通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。 前提条件 已创建元数据连接。 操作步骤 登录迁移中心管理控制台。在左侧
ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接 MaxCompute连接 阿里云云数据库ClickHouse连接 您还可以通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。 前提条件 已创建元数据连接。 操作步骤 登录迁移中心管理控制台。 在左
至MgC。 按表筛选 下载CSV格式的模板。 下载后用记事本打开该CSV模板文件。 注意: 请不要使用Excel对CSV模板文件进行编辑,通过Excel编辑并保存的模板文件无法被MgC识别。 保留CSV文件中的第一行不变,从第二行开始,每行填写一个表的迁移信息,格式为“{MC项目名}
Lake元数据连接,将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake(有元数据)支持创建数据湖元数据同步任务。 Delta Lake(无元数据)只能通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。 前提条件 已创建Delta Lake(有元数据)元数据连接。 操作步骤
Lake元数据连接,将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake(有元数据)支持创建数据湖元数据同步任务。 Delta Lake(无元数据)只能通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。 前提条件 已创建Delta Lake(有元数据)元数据连接。 操作步骤
OBS多前缀批量迁移 归档存储(冷存储)数据迁移 SFS1.0迁移至SFS 3.0 NAS到NAS迁移和割接方案 文件存储批量迁移 通过HTTP迁移MinIO存储数据到华为云OBS 通过HTTP迁移Ceph存储数据到华为云OBS
至MgC。 按表筛选 下载CSV格式的模板。 下载后用记事本打开该CSV模板文件。 注意: 请不要使用Excel对CSV模板文件进行编辑,通过Excel编辑并保存的模板文件无法被MgC识别。 保留CSV文件中的第一行不变,从第二行开始,每行填写一个表的迁移信息,格式为“{MC项目名}