检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题: 旧版
大数据数据迁移(MaxCompute迁移到DLI) 大数据迁移概述 使用须知 准备工作 创建源端连接 创建目的端连接 创建迁移任务 查看并导出执行结果 自定义参数说明 父主题: 新版
Excel编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 新版
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 旧版
创建存储迁移工作流 大数据数据迁移 支持多种大数据组件的元数据迁移,元数据增量感知,数据全量及增量迁移。 支持区域: 全部 创建源端连接 创建目的端连接 迁移实施 大数据校验 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提
迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择在完成准备工作时与迁移中心连接成功的MgC Agent。 源端配置 源端连接 选择创建的源端连接。 MaxCompute参数(可选) 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。
大数据校验 新增大数据校验数据连接时,凭证列表数据缺失 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务? 创建HBase目的端连接安全集群下的换包操作指南 MRS
安全组配置说明。 费用说明 在创建迁移集群时,会产生以下费用: 创建Master节点、迁移节点和列举节点会产生ECS服务费用。具体计费详情请参见ECS按需计费说明或ECS价格计算器。 如果您使用公网迁移时,会产生NAT网关服务费用。计费详情请参见NAT网关计费说明或NAT价格计算器。
创建集群资源失败 连接中 等待master节点上线,并开始创建和安装其他节点 健康 所有节点均处于在线状态 亚健康 部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线 不可用 所有迁移节点或列举节点不在线 离线 master节点离线,可能是网络中断、ECS删除等原因,请排查Vpcep
安全组配置说明。 费用说明 在创建迁移集群时,会产生以下费用: 创建Master节点、迁移节点和列举节点会产生ECS服务费用。具体计费详情请参见ECS按需计费说明或ECS价格计算器。 如果您使用公网迁移时,会产生NAT网关服务费用。计费详情请参见NAT网关计费说明或NAT价格计算器。
创建集群资源失败 连接中 等待master节点上线,并开始创建和安装其他节点 健康 所有节点均处于在线状态 亚健康 部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线 不可用 所有迁移节点或列举节点不在线 离线 master节点离线,可能是网络中断、ECS删除等原因,请排查Vpcep
上云操作 连接迁移中心 添加/修改华为云凭证
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 迁移准备
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 大数据血缘
可以在主机的基本信息页面,通过主机规格名称来判断是否为XEN规格。当前XEN规格名称包括:C1、C2、S1、M1、E1、E2、Et2、D1、H1、G1、G2型弹性云服务器。 图1 查看主机规格 安装驱动 源端为Linux主机,请参考以下任一方案安装驱动。 XEN实例变更为KVM实例(Linux-自动配置)中的步骤1~步骤2
登录目的端主机,鼠标右键单击开始菜单。 单击“运行”,输入cmd,进入命令行提示符界面。 执行diskpart,启动磁盘管理工具。 执行list disk,列出当前服务器所有磁盘。 如下图所示,磁盘0处于“联机”状态,磁盘1处于“脱机”状态。 执行select disk 1选择脱机状态的磁盘(根据实际情况,选择对应的脱机磁盘)。
HBase安全集群任务与非安全集群任务不能同时执行。HBase安全集群需要加载认证信息,非安全集群连接时需要清除安全集群的认证信息,因此不能同时执行。 当源端服务(包含但不限于Lindorm、HBase)因欠费被锁定时,虽然可以正常创建数据连接和校验任务,但由于服务锁定限制了数据访问和操作权限,最终会导致校验任
华南-广州 华东-上海一 华东-上海二 华东-青岛 西南-贵阳一 中国-香港 亚太-新加坡 内网迁移 支持在同一Region内通过内网进行迁移。 软连接处理 MgC不支持源端路径为软链接的迁移。如果源端包含软链接,请进行如下处理: 填写实际的文件路径。 迁移完成后,手动在目的端创建相应的软链接。
配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。 cat ~/.kube/config