检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>迁移准备”,进入迁移准备页面。 选择元数据管理,在大数据血缘分析页签,单击“查看血缘”,进入血缘图页面。 图1 查看血缘 通过数据库名、表名筛选需要查看的血缘图。如果进行了大数据校验,还可以通过校验批次进行筛选。
的日志文件名和说明参加下表: 日志文件名 说明 debug.log 大数据插件运行时调试日志。 error.log 大数据插件运行时报错日志。 run.log 大数据插件运行时全部日志。 warn.log 大数据插件运行时告警日志。 rda_run.log 记录插件启动命令。 api
新版 权限管理 配置管理 调研评估 资源采集 应用管理 迁移准备 迁移方案设计 迁移方案配置 迁移集群 迁移工作流 大数据数据迁移(MaxCompute迁移到DLI) 大数据校验
installed如何处理? 大数据-Hive Metastore凭证文件获取方法 MgC Agent(原Edge)安装端口被占用,导致无法安装,如何处理? AK/SK验证失败,如何处理? Windows服务器WinRM服务配置与故障排查 新增大数据校验数据连接时,凭证列表数据缺失
移工作流,根据采集的源端主机性能数据,推荐最合适的华为云主机规格。 创建大数据迁移任务:进行大数据迁移,支持将阿里云 MaxCompute数据迁移至华为云 数据湖探索(DLI)。 创建大数据校验任务:对大数据进行一致性校验。 约束与限制 单个账号允许同时在线的MgC Agent总数最多为100个。
已完成元数据采集。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>迁移准备”,进入迁移准备页面。 选择元数据管理,在大数据血缘分析页签,单击“创建血缘采集任务”,弹出创建血缘采集任务窗口。 图1 创建血缘采集任务
集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 手动添加数据表 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>迁移准备”,进入迁移准备页面。 选择元数据管理,单击库表清单页签。 单击“新增数据表”按钮,弹出新增数据表窗口。
securityGroupList 安全组 用于迁移前评估 clusterId 大数据集群ID 用于迁移前评估 chargeMode 付费模式 用于迁移前评估 assessStatus 主机TCO评估状态 用于迁移前评估 nodeType 大数据节点类型 用于迁移前评估 采集项 说明 作用 id ID
Agent(原Edge)需要的端口,所需端口请查看通信矩阵。 安全组的出方向规则中,需要包含8883端口。 操作系统为:CentOS 8.x 推荐规格不小于4U8G。如果使用大数据相关功能,推荐规格不小于8U16G。 不建议将MgC Agent安装在源端待迁移的主机上,主要原因包括: 资源消耗:MgC Agent在
cs:GetClusters Read cs:DescribeClusterDetail Read k8s::DescribeMetricData List 大数据 EMR emr:ListClusters List 网络 CEN cen:ListTransitRouters Read cen:De
据库表信息,方法请参见查看元数据。 前提条件 已创建元数据连接。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>迁移准备”,进入迁移准备页面。 选择元数据管理,单击创建元数据同步任务按钮,右侧弹出创建任务-元数据同步窗口。
Agent(原Edge)需要的端口,所需端口请查看通信矩阵。 安全组的出方向规则中,需要包含8883端口。 操作系统为:CentOS 8.x 推荐规格不小于4U8G。如果使用大数据相关功能,推荐规格不小于8U16G。 不建议将MgC Agent安装在源端待迁移的主机上,主要原因包括: 资源消耗:MgC Agent在
前提条件 已创建Delta Lake(有元数据)元数据连接。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>迁移准备”,进入迁移准备页面。 选择元数据管理,单击创建数据湖元数据同步任务按钮,右侧弹出创建任务-数据湖元数据同步窗口。
C Agent扮演着连接MgC和客户网络的桥梁角色,确保数据迁移过程的顺畅和安全。 MgC Agent在大数据迁移、大数据校验使用场景下的逻辑架构图,如图1所示。 图1 大数据使用场景逻辑架构图 特性开关 MgC Agent所包含的特性开关参见下表。 参数 说明 参数值 参数路径
标准存储 访问时延低和吞吐量高,因而适用于有大量热点文件(平均一个月多次)或小文件(小于1MB),且需要频繁访问数据的业务场景,例如:大数据、移动应用、热点视频、社交图片等场景。 低频访问存储 适用于不频繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景,例如:文件同步/共享、企业备份等场景。
数据采集架构 迁移中心(MgC)采集数据的方式主要包括以下两种: 利用MgC Agent远程在线采集 通过调用API在线采集云平台资源 利用MgC Agent远程在线采集 适用于公有云、私有云(如VMware、Hyper-V等虚拟化环境)以及数据中心(IDC)部署,或者以上部署方式的混合场景。迁移中心
rda-collector-platform。 主机采集器 :rda-collector-server。 存储采集器 :rda-storage-collector。 大数据采集器 bigdata-migration。 配置JVM参数。 MgC Agent安装目录下(默认为/opt/cloud/Edge),编辑
阿里云 主机 容器 大数据 数据库 - 中间件 Redis Kafka 存储 对象存储 文件存储 网络 云连接 负载均衡(ALB、CLB) 专线 公网域名 内网域名 弹性公网IP 公网NAT网关 路由表 安全组 虚拟私有云 VPN网关 华为云 主机 容器 大数据 数据库 - 中间件
阿里云 主机 容器 大数据 数据库 - 中间件 Redis Kafka 存储 对象存储 文件存储 网络 云连接 负载均衡(ALB、CLB) 专线 公网域名 内网域名 弹性公网IP 公网NAT网关 路由表 安全组 虚拟私有云 VPN网关 华为云 主机 容器 大数据 数据库 - 中间件
阿里云 主机 容器 大数据 数据库 - 中间件 Redis Kafka 存储 对象存储 文件存储 网络 云连接 负载均衡(ALB、CLB) 专线 公网域名 内网域名 弹性公网IP 公网NAT网关 路由表 安全组 虚拟私有云 VPN网关 华为云 主机 容器 大数据 数据库 - 中间件