检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在元数据采集区域，单击“创建连接”，右侧弹出创建连接窗口。 连接类型选择“Hive Metastore”，单击“下一步”。 根据Hive Metastore连接参数配置说明，配置连接参数后，单击“测试连接”按钮，测试通过代表连接成功。 表1 Hive Metastore连接参数配置说明 参数
在大数据校验页面的功能入口区域，单击“连接管理”，进入连接管理页面。 单击页面右上角的“新增连接”，右侧弹出新增连接窗口。连接类型选择“数据湖探索 （DLI）”，单击“下一步”，进入详细配置页面。 根据DLI服务参数配置说明，配置连接参数后，单击“测试连接”按钮，测试通过代表连接成功。 表4 DLI服务参数配置说明
在大数据校验页面的功能入口区域，单击“连接管理”，进入连接管理页面。 单击页面右上角的“新增连接”，右侧弹出新增连接窗口。连接类型选择“ClickHouse”，单击“下一步”，进入详细配置页面。 根据ClickHouse组件参数配置说明，配置连接参数后，单击“测试连接”按钮，测试通过代表连接成功。 表4 ClickHouse组件参数配置说明
准备工作 华为账号准备 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，并获取账号/IAM用户的访问密钥（AK/SK）。获取方法请参考准备工作。 创建迁移项目 在MgC控制台为本次迁移创建独立的项目，方法请参见项目管理。 创建弹性文件系统 在目的端创建相
创建并运行元数据同步任务 利用元数据连接，创建元数据同步任务，将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下： Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi（有元数据）连接 Hudi（无元数据）连接 MaxCompute连接
在大数据校验页面的功能入口区域，单击“连接管理”，进入连接管理页面。 单击页面右上角的“新增连接”，右侧弹出新增连接窗口。连接类型选择“ClickHouse”，单击“下一步”，进入详细配置页面。 根据ClickHouse组件参数配置说明，配置连接参数后，单击“测试连接”按钮，测试通过代表连接成功。 表4 ClickHouse组件参数配置说明
在大数据校验页面的功能入口区域，单击“连接管理”，进入连接管理页面。 单击页面右上角的“新增连接”，右侧弹出新增连接窗口。连接类型选择“ClickHouse”，单击“下一步”，进入详细配置页面。 根据ClickHouse组件参数配置说明，配置连接参数后，单击“测试连接”按钮，测试通过代表连接成功。 表4 ClickHouse组件参数配置说明
在元数据采集区域，单击“创建连接”，右侧弹出创建连接窗口。 连接类型选择“Delta Lake（无元数据）”，单击“下一步”。 根据表1，配置连接参数后，单击“测试连接”按钮，测试通过代表连接成功。 表1 Delta Lake（无元数据）连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称
问题分析 出现该问题，可能的原因有： 目的端区域没有与源端匹配的规格。 创建评估时，配置了自定义评估策略，没有匹配到符合策略的主机规格。 解决方法 在迁移方案设计页面的应用列表，单击操作列的“查看资源配置”，进入目的端配置表页面。 在资源配置明细区域，单击主机资源操作列的“更改目的端规格”，右侧弹出资源详情窗口。
参考大数据数据迁移的准备工作，完成迁移环境搭建。其中，购买ECS选择在阿里云购买一台ECS实例，要求该ECS实例的私有IP地址能够通过SNAT访问外部网络。Edge安装完成后，使用SNAT的公网IP访问Edge，注册用户并连接迁移中心。 步骤六：创建大数据迁移任务 完成步骤一到步骤五的操作，并了解
表1 设备状态说明 设备状态 说明 在线 Edge与MgC控制台之间一直连接，无断开。 离线 Edge运行程序退出与MgC控制台之间的连接断开1分钟后，置为“离线”状态。 未激活 已在Edge完成注册但设备还未接入平台。 异常 无此状态，如出现该状态，请联系华为云技术支持。 冻结 无
Edge设备离线原因 MgC控制台显示设备状态为离线，请排查以下原因： 请检查安装Edge的主机是否仍然具备访问公网的能力。 请检查Edge运行进程是否正常。 父主题： 常见问题
一个可用于访问MgC的IAM用户，注册华为账号以及创建IAM用户的方法请参考准备工作。 创建项目 在MgC控制台为本次采集创建独立的项目（建议创建简单项目），方法请参考项目管理。 AWS账号凭证准备 提前获取待采集资源所属AWS账号的AK/SK，方法请参考获取AWS访问密钥(Access
已在源端内网环境安装Edge工具，并与迁移中心连接。 已在Edge上添加源端主机凭证。为确保采集过程具备充分的系统访问权限，主机凭证要求如下： Linux主机，请添加Root账号和密码作为采集凭证。 Windows主机，请添加Administrator账号和密码作为采集凭证。 操作步骤 登录迁移中心管理控制台。
单击操作列的“运行任务”，即可触发一次任务执行。每执行一次任务，会生成一条任务实例。 单击操作列的“查看实例”，进入任务实例管理页签。可以查看该任务的运行记录，以及每条任务实例的状态和采集结果。当数据湖元数据同步任务的实例状态为“已完成”且采集结果有数值时，在库表清单页签可以查看采集到的元数据列表。
选择私网迁移，需要提前配置专线、VPN、对等连接或同VPC子网，确保源端能够通过私网访问目的端。 如果源端无法访问公网，需要输入源端代理服务器的私网IP和代理软件指定的代理端口。 如果源端代理服务器无法访问公网，需要将SMS-Agent安装包放至到源端能访问下载或者借助代理能访问下载的地址。SMS-Agent安装包可以在SMS控制台下载。
离线升级：用于更新已安装的采集器。 手动升级：用于新增采集器或修改采集器配置文件后的更新。 前提条件 已下载并安装Edge，并完成用户注册。 离线升级 使用注册的用户名、密码登录Edge控制台，在左侧导航树选择“采集工具管理”，进入应用关联采集器页面。 可以查看已安装的采集器类型、版本以及安装路径等信息。
Redis采集器（app-discovery-redis） 通过连接到Redis节点，获取Redis节点IP、版本、连接客户端IP信息。参数配置说明参见表1。 表1 Redis采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果（app-discovery-redis-xxx
查看并导出执行结果 每运行一次迁移任务，即会生成一条任务实例。在任务实例的进度详情页面，可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载，15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表，单击进度统计列的“查看”，进入进度详情页面。
选择需要校验的表所在表组。 执行机连接 Hive、Delta Lake和Hudi组件配置参数。 创建源端统计任务时，选择源端执行机连接。 创建目的端统计任务时，选择目的端执行机连接。 DLI连接 数据湖探索（DLI）组件配置参数，创建目的端统计任务。选择创建的目的端DLI连接。 Doris连接 Doris组件配置参数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
