检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
按钮,在弹窗的下拉列表中,选择完成准备工作时与迁移中心连接成功的MgC Agent。 在进行大数据校验时,请确保MgC Agent一直处于在线并启用状态。 在功能入口区域,单击“迁移准备”,进入迁移准备页面。 选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图1 创建连接
采集时长受控:采集任务在有限的时间内完成,采集避免长时间占用系统资源。 加密保存凭证:所有用于数据采集的凭证都经过加密处理,以保护凭证的安全。线上采集的凭证仅在线上环境中保存。 操作权限与最小权限原则:无论哪种采集方式,都需要具备相应的操作权限,并且遵循最小权限原则,即只授予完成特定任务所需的最小权限。
勾选需要导出的信息,单击“确定”,导出所有Bucket资源清单。 导出阿里云RDS MySQL实例 登录阿里云RDS控制台。 在左侧导航栏选择“实例列表”,进入实例列表页面。在页面上方选择地域。 通过数据库类型列过滤出所有MySQL类型的实例,单击列表右上角的图标。 在弹出的对话框中,勾选需要导出的
勾选需要导出的信息,单击“确定”,导出所有Bucket资源清单。 导出阿里云RDS MySQL实例 登录阿里云RDS控制台。 在左侧导航栏选择“实例列表”,进入实例列表页面。在页面上方选择地域。 通过数据库类型列过滤出所有MySQL类型的实例,单击列表右上角的图标。 在弹出的对话框中,勾选需要导出的
勾选需要导出的信息,单击“确定”,导出所有Bucket资源清单。 导出阿里云RDS MySQL实例 登录阿里云RDS控制台。 在左侧导航栏选择“实例列表”,进入实例列表页面。在页面上方选择地域。 通过数据库类型列过滤出所有MySQL类型的实例,单击列表右上角的图标。 在弹出的对话框中,勾选需要导出的
MySQL凭证:选择访问MySQL数据库的认证信息。认证信息需要添加到MgC Agent然后同步到MgC,方法请参考添加资源凭证。 MySQL节点IP:输入MySQL数据库服务器的IP地址。 MySQL服务端口:输入MySQL数据库服务的端口号。 数据库名:输入存储Hive表元数据的数据库名称。
连接中 等待master节点上线,并开始创建和安装其他节点 健康 所有节点均处于在线状态 亚健康 部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线 不可用 所有迁移节点或列举节点不在线 离线 master节点离线,可能是网络中断、ECS删除等原因,请排查Vpcep
的迁移中心Agent(MgC Agent,原Edge)两个部分。 MgC:部署在云上,主要包含六个业务功能(问卷&TCO对比、在线采集、应用关联分析、在线评估、资源分组、迁移编排),通过基于服务开发服务,基于服务运维服务的方式进行设计。 MgC Agent:部署在客户的网络中,用
连接中 等待master节点上线,并开始创建和安装其他节点 健康 所有节点均处于在线状态 亚健康 部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线 不可用 所有迁移节点或列举节点不在线 离线 master节点离线,可能是网络中断、ECS删除等原因,请排查Vpcep
据时只会读取源端数据,不会对源端数据进行修改。并提供了“导入本地文件”与“在线采集”两种采集方式。 数据传输 迁移中心为了确保数据传输安全,采用加密通道(HTTPS、SSH)进行数据传输。 凭证加密 在线采集时,采集凭证会加密存储在MgC服务端。用户也可以通过在源端部署MgC A
具窗口。 在下拉列表中,选择与迁移中心连接成功的Edge。 如迁移工具状态为“在线”、“已启用”,代表该工具已被用于对数相关操作,单击“确定”按钮,继续使用该工具进行后续操作。 如迁移工具状态为“在线”、“未启用”,代表该工具尚未被用于对数,单击“启用”按钮,启用该工具进行后续操作。
采集主机资源 在线调研 内网采集 手动添加
在下拉列表中,选择与迁移中心连接成功的MgC Agent。 如迁移工具状态为“在线”、“已启用”,代表该工具已被用于对数相关操作,单击“确定”按钮,继续使用该工具进行后续操作。 如迁移工具状态为“在线”、“未启用”,代表该工具尚未被用于对数,单击“启用”按钮,启用该工具进行后续操作。
资源采集 在线调研 内网采集 导入RVTools资源 导入阿里云资源清单 导入应用关联文件 导入工具采集结果 手动添加资源 采集主机性能 关联应用 父主题: 新版
在偏差,按更新时间过滤分区时可能遗漏分区,慎重选择该选项! 高级选项 单SQL字段上限:每条SQL查询的表的字段上限。单SQL查询的字段数越多,执行时间越长, 如果设置的字段数上限过少,则可能形成更多SQL,影响获取校验结果的效率。默认是0,即无上限,取值范围100~500。 OBS桶配置检查
在偏差,按更新时间过滤分区时可能遗漏分区,慎重选择该选项! 高级选项 单SQL字段上限:每条SQL查询的表的字段上限。单SQL查询的字段数越多,执行时间越长, 如果设置的字段数上限过少,则可能形成更多SQL,影响获取校验结果的效率。默认是0,即无上限,取值范围100~500。 OBS桶配置检查
a/client/bigdata_env, 如果该参数不为空,则环境变量文件在命令执行前将被自动“source” SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择完成准备工作时创建的应用迁移项目。 单击左侧导航栏的“源端发现 > 资源采集”,进入资源采集页面。 选择“在线调研”页签,单击“云平台采集”,进入云平台采集参数配置页面。 图1 云平台采集 根据公网发现任务参数说明,配置公网发现任务参数。 表1 公网发现任务参数说明
编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。
据写入的分区。 spark.sql.files.maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated