检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模板中单元格不允许存在公式且必须是文本格式,否则会导致解析失败。 元数据连接为Delta(有元数据)或Hudi(有元数据)连接时,模板中的source_path参数为必填项。 元数据连接为Delta(无元数据)或Hudi(无元数据)连接时,模板中的source_path和target_path参数为必填项。
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题: 旧版
大数据数据迁移(MaxCompute迁移到DLI) 大数据迁移概述 使用须知 准备工作 创建源端连接 创建目的端连接 创建迁移任务 查看并导出执行结果 自定义参数说明 父主题: 新版
Excel编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 新版
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 旧版
Agent会占用源端主机上的一些端口,也可能会对源端业务产生影响。 安装完成并注册用户后,将MgC Agent与迁移中心进行连接,方法请参考连接迁移中心。 连接成功后,需要在MgC Agent上添加源端待迁移主机凭证,凭证的添加方法请参考添加资源凭证。资源类型请根据实际情况选择“W
大数据校验 新增大数据校验数据连接时,凭证列表数据缺失 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务? 创建HBase目的端连接安全集群下的换包操作指南 MRS
NAS无法挂载,请检查连接参数或网络。 OMS.03011 写入流失败 请重试,如果依然无法解决问题,请联系技术支持人员或提交工单。 OMS.03015 连接smb失败 SMB服务器无法连接,请检查连接参数或网络。 OMS.03021 执行命令失败 请检查NAS服务器连接参数或网络。 MgC错误码
上云操作 连接迁移中心 添加/修改华为云凭证
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 迁移准备
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 大数据血缘
要调整目录权限或选择其他路径。 检查源端主机连通性 网络连接检查:确保执行脚本的主机能够通过网络访问所有源端主机。 SSH端口开放检查:确保源端主机的SSH端口(默认是22)已开放,允许从执行脚本的主机通过SSH协议进行连接。 SSH访问权限设置 SSH服务配置:确保所有源端主机
常见问题 如何启用 PowerShell 远程管理模块 如何启用 WinRM 服务 执行脚本后报错:连接到远程服务器失败,且登录凭证信息正确 父主题: 批量修改与还原源端Windows主机的Host配置
迁移工作流步骤执行失败,提示“Edge is not accessible ...”,如何处理? 出现该提示是因为MgC Agent(原Edge)无法访问到源端。 源端为Windows系统时需要对安装MgC Agent主机的IP开放5985端口。 源端为Linux系统时需要对安装MgC
389端口,Linux开放22端口,也可以单独指定。 采集原理:通过枚举网段下所有IP地址,得到扫描范围,然后依次循环使用TCP连接到对应IP的远程连接端口。如果3389存在监听则判定该IP操作系统为Windows,如果22端口存在监听则判定该IP操作系统为Linux。 性能采集
认:13475,建议开放:1024-65535) SMB:TCP/445。 该采集器只能采集到通过netstat命令所识别的、具有长期网络连接特性的进程之间的关联关系。 表1 Windows进程与网络采集器参数配置说明 参数 必选 配置说明 host_path 是 填写待采集的W
华南-广州 华东-上海一 华东-上海二 华东-青岛 西南-贵阳一 中国-香港 亚太-新加坡 内网迁移 支持在同一Region内通过内网进行迁移。 软连接处理 MgC不支持源端路径为软链接的迁移。如果源端包含软链接,请进行如下处理: 填写实际的文件路径。 迁移完成后,手动在目的端创建相应的软链接。
要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE
Agent(原Edge)安装端口被占用,导致无法安装,如何处理? AK/SK验证失败,如何处理? Windows服务器WinRM服务配置与故障排查 新增大数据校验数据连接时,凭证列表数据缺失