检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选此选项。在域名输入框中输入自定义域名,并选择传输协议。HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。 源端为阿里云OSS、腾讯云COS时,如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。 SMN消息发送配置 选择是否使用SMN消息通知功能,该功能可以通知您迁移任务的结果。
公网采集失败,提示:“网络连接超时”或“其他异常” 问题描述 在使用公网发现功能进行源端资源采集时,遇到采集失败,错误提示:“网络连接超时”或“其他异常”。 问题分析 网络连接超时:出现该提示是因为源端资源所在的地域(Region)不在MgC服务支持的资源采集范围内。 其他异常:
内网发现与采集 适用于暂不支持公网采集的云平台主机,在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge
式。 元数据迁移不支持事务表(即DDL中带有transactional=true字段的表)。 由于阿里云最近更新了timestamp_ntz字段类型,目前该字段类型尚未被阿里云SDK所兼容支持,这一兼容性问题导致SDK无法识别并读取该字段,从而使该字段所在的表元数据迁移失败。 注意事项
内网发现与采集 适用于暂不支持公网采集的云平台主机,在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge
本地数据采集与存储:通过Edge线下采集的信息会被安全地保存在本地。在将本地采集的数据上传到云端之前,可人工审阅并确认无安全风险后,再导入云上进行后续分析。 父主题: 产品咨询
建议执行时间选择业务的低峰期。 高级选项 并发连接数:进行数据统计时,单个执行机的任务并发数。默认为3,取值范围:1~10。 注意: 在创建阿里云Hive校验任务时,请根据源端数据量和EMR Master节点的规格,合理设置并发连接数。建议按照以下两个条件进行设置: 条件一:同时运行的
可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf 参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时,请添加如下参数:
查看应用关联分析结果 迁移中心会整理源端资源和应用间的关联关系,并且绘制技术架构图和应用依赖图,为后续迁移计划的制定和目的端架构设计提供帮助。 前提条件 已导入应用关联文件或导入工具采集结果。 查看技术架构图 在应用发现页面,单击应用框中的“技术架构图”,可以查看所有服务、微服务、资源的矩阵图。
Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edg
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据,无法通过数据湖元数据同步方式进
工具概述 迁移工具Edge是一款用于配合迁移中心进行源端资源发现与采集的工具,同时Edge还提供了工作流模块,用于配合云端迁移工作流任务。 特性开关 Edge所包含的特性开关参见下表。 参数 说明 参数值 参数路径 config.httpclient.verifier 验证主机名
元数据全量迁移 将源端数据库中的所有元数据迁移到华为云数据湖探索(DLI) 。 元数据迁移不支持事务表(即DDL中带有transactional=true字段的表)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 操作步骤 登录迁移中心控制台。 在左侧导航
请务必在解冻完成后再创建迁移工作流。 请根据待迁移的数据总量评估并设置解冻有效期,以防迁移期间数据再次变成归档状态。 解冻操作可能会产生一定的费用,由源端云厂商收取,计费规则请咨询源端云厂商。 并发子任务数 用户自定义。配置的数目不能超过可用迁移节点数x10。 例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。
Edge安装端口被占用,导致无法安装,如何处理? 问题描述 在安装Edge时,提示“安装端口被占用,请先关闭占用进程再重试”。 问题分析 出现该问题,是因为安装Edge的默认端口27080被占用。 解决方法 将占用27080端口的应用进程停用。 在将应用进程停用前,请自行评估风险并承担相应后果。
可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf 参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时,请添加如下参数:
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧
登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用发现”,进入应用发现页面。在页面左上角的当前项目下拉列表中选择迁移项目。 首次创建任务,在云边协同区域,单击“内网发现”按钮,进入创建内网发现任务页面。 非首次创建任务,单击任务框中的“发现>内网发现”,进入创建内网发现任务页面。 根据表1,配置采集任务参数。
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。
安装Edge的主机有哪些要求? 安装Windows版本的主机要求如下: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。