检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cn-north-4.myhuaweicloud.com 凭证收集 Edge在进行资源采集时,会根据不同的资源类型,收集对应的凭证信息。涉及的资源类型和凭证信息包括:主机凭证、数据库凭证、容器凭证、VMWare平台凭证、租户AKSK。 通信矩阵 通信矩阵列出了使用迁移工具Edge需要开放的端
参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时,请添加如下参数: 参数名:master 参数值:local 参数配置完成后,单击“确认”按钮,创建数据湖元数据同步任务完成。
报错信息为:System.OutOfMemoryException 问题分析 迁移工具Edge使用WinRM服务连接源端主机,进行脚本传输和执行。出现该问题是因为执行脚本的内存不足,导致迁移失败。 解决方法 检查并调整PowerShell内存配置。 在源端待迁移主机的PowerS
PowerShell 版本和依赖项要求 PowerShell 远程处理依赖于 Windows 远程管理 (WinRM),由 Windows Management Framework (WMF) 提供。 在 PowerShell 上运行远程会话,本地计算机和远程计算机必须满足以下要求:
方式添加,方法请参考导入数据表并加入表组。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。执行机凭证分别选择步骤4.在Edge侧添加的源端和目的端执行机凭证。 在MgC控制台,分别创建源端和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤16
推荐规格不小于4U8G。如果使用大数据相关功能,推荐规格不小于8U16G。 不建议将Edge安装在源端待迁移的主机上,主要原因包括: 资源消耗:Edge在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。 端口占用:Edge会占用源端主机上的一些端口,也可能会对源端业务产生影响。
sed工具:用于编辑和修改/etc/hosts文件内容。 setsid命令:用于在SSH连接中避免交互需求(通常用于避免密码输入时的交互)。 mktemp命令:用于创建临时文件或目录。 执行权限和用户权限配置 用户权限配置:确保执行脚本的用户具有对日志目录、CSV文件和hosts文件的读写权限。
说明 任务名称 用户自定义。 云厂商 选择源端云厂商。 说明: 当前源端云厂商仅支持AWS和阿里云。 区域 选择源端资源所在区域。 调研方式 “AK/SK”方式,需要选择“凭证”、“对比时间段”和“对比产品”,如未提前添加凭证,请单击“新建凭证”,填写相应参数,校验并保存凭证。 说明:
ECS实例和云盘 对象存储 OSS桶 云数据库 RDS MySQL实例 云数据库 Redis实例 导出阿里云ECS实例和云盘 登录阿里云ECS控制台。 在概览页面,单击“导出数据>实例”,导出所有实例资源清单。 单击“导出数据>云盘”,导出所有云盘资源清单。 打开实例资源清单和云盘资
单击进度统计列的“查看”,进入进度详情页面。可以查看元数据的增量感知结果以及增量迁移列表清单和状态。 单击进度详情页面右上角的“打开DDL编辑器”,可以根据不同的增量感知结果,对源端和目的端的表结构进行比较和编辑。 父主题: 迁移实施
ECS实例和云盘 对象存储 OSS桶 云数据库 RDS MySQL实例 云数据库 Redis实例 导出阿里云ECS实例和云盘 登录阿里云ECS控制台。 在概览页面,单击“导出数据>实例”,导出所有实例资源清单。 单击“导出数据>云盘”,导出所有云盘资源清单。 打开实例资源清单和云盘资
创建统计任务并执行校验 利用创建的源端连接和目的端连接,分别创建源端和目的端统计任务,获取源端和目的端的数据信息,以便于进行数据校验。 支持的大数据组件和统计方式说明请参见大数据校验概述。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 HBase安全集群任
Metastore连接前,需要先获取连接Hive Metastore的IP地址和端口号。 在创建MaxCompute连接前,需要先获取MaxCompute服务所在地域的Endpoint信息。 在创建Doris连接前,需要先获取Doris集群部署的服务器IP地址和端口。 在创建HBase连接前,需要先获取HBa