检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL-generallog采集器(app-discovery-mysql-generallog) 通过MySQL的general-log日志,采集客户端host和port信息。参数配置说明参见表1。 表1 MySQL-generallog采集器参数配置说明 参数 必选 配置说明
如果非以上两种原因,请排查MgC Agent是否被多个用户同时用于采集,导致MgC Agent侧的WinRM服务与源端断开。 解决方法 源端为Linux主机 在安装MgC Agent的主机,打开命令行窗口,使用ping命令测试与源端主机的公网IP是否连通;使用telnet命令测试源端主机的端口(默认22端口)是否可以访问。命令格式分别为:ping
项目类型选择“复杂迁移(大数据迁移)”,输入自定义项目名称,单击“创建”。 图2 创建大数据迁移项目 创建项目完成后,参考连接迁移中心,将MgC Agent与云端MgC控制台建立连接。 连接成功后,需要在MgC Agent上分别添加源端阿里云 ClickHouse凭证和目的端CloudTable
项目类型选择“复杂迁移(大数据迁移)”,输入自定义项目名称,单击“创建”。 图2 创建大数据迁移项目 创建项目完成后,参考连接迁移中心,将MgC Agent与云端MgC控制台建立连接。 连接成功后,需要在MgC Agent上分别添加源端“Delta Lake执行机”凭证和目的端“MRS Delta
称。 迁移中心Agent 选择在完成准备工作时与迁移中心连接成功的MgC Agent。 DLI凭证 选择完成准备工作时,在MgC Agent侧添加的华为云(AK/SK)凭证。如果所选凭证与登录迁移中心账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。
选择完成准备工作时,在Edge侧添加的华为云(AK/SK)凭证。如果所选凭证与登录迁移中心账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。 区域 选择目的端DLI所在区域。如果未勾选“所选凭证与登录迁移中心凭证相同”,则需要手动填写区域代号。例如:cn-south-1
Agent,安装方法请参考下载并安装Linux版本MgC Agent。安装成功后,将MgC Agent与迁移中心进行连接,连接方法请参考连接迁移中心。 MgC Agent与迁移中心连接时,请将输入的华为云账号AK/SK保存为目的端凭证。 MgC Agent不具备自动重启功能,严禁在任务执行期间重启MgC
金山云认证方式请选择“AK/SK”,并输入源端账号的AK/SK。 Azure认证方式请选择“ID/密钥”。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 是 区域 选择要发现的源端云平台区域,支持多选。 是 资源类型 在下拉列表勾选主机资源。 是 应用 选
首次使用大数据数据迁移功能时,需要先启用迁移工具Edge。单击页面左上角的“修改”或单击“选择迁移工具”按钮,弹出选择迁移工具窗口。在下拉列表中,选择在完成准备工作时与迁移中心连接成功的Edge。 在进行大数据数据迁移时,请确保迁移工具Edge一直处于在线并启用状态。 启用迁移工具Edge后,单击页面右上角
MgC Agent。单击页面左上角的“修改”或单击“选择迁移中心Agent”按钮,弹出选择迁移工具窗口。在下拉列表中,选择在完成准备工作时与迁移中心连接成功的MgC Agent。 在进行大数据数据迁移时,请确保MgC Agent一直处于在线并启用状态。 启用MgC Agent后,
在进行对数任务时,不支持使用 MRS 3.3.0 及以上版本集群节点的ECS作为执行机,会导致对数任务执行失败。 约束与限制 创建EMR Delta Lake到MRS Delta Lake数据校验任务存在以下约束与限制: 源端EMR环境的Spark版本为3.3.1时,支持Delta
资源采集常见问题和处理方法 资源采集相关问题与处理方法参下表。 问题 处理建议 该任务名已存在。 请重新输入任务名。 创建采集任务失败。 请联系技术支持人员或提交工单。 采集项所关联的采集任务不存在。 请为采集项重新关联采集任务。 采集项重复。 请检查采集任务中是否存在相同的采集项,或联系技术支持人员。
过程。 数据安全 数据采集 迁移中心为了确保采集数据的安全性,采集数据时只会读取源端数据,不会对源端数据进行修改。并提供了“导入本地文件”与“在线采集”两种采集方式。 数据传输 迁移中心为了确保数据传输安全,采用加密通道(HTTPS、SSH)进行数据传输。 凭证加密 在线采集时,
默认创建名称为“MaxCompute到DLI元数据增量感知-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 时间范围 全量区间:全量识别出上一次元数据迁移后,在源端数据库中发生变化的元数据。
果服务被锁定,请及时补缴费用以解除锁定。确认服务恢复正常后,重新尝试执行数据校验任务。 约束与限制 创建EMR Delta Lake到MRS Delta Lake数据校验任务存在以下约束与限制: 源端EMR环境的Spark版本为3.3.1时,支持Delta Lake(有元数据)和Delta
默认创建名称为“MaxCompute到DLI元数据增量感知-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择在完成准备工作时与迁移中心连接成功的MgC Agent。 源端配置 源端连接 选择创建的源端连接。 MaxCompute参数(可选) 非必填参数,一般为空。如
在进行指定分区数据迁移的场景下,由于MaxCompute在创建表时会自动将表名转换为小写,因此在迁移过程中,请确保Excel文件中的库表名称与MaxCompute中的实际表名一致(全部小写)。如果Excel文件中填写的库表名称为大写,迁移任务会因为无法正确识别表名导致无法迁移。 前提条件
关于华为云OBS存储类型更多介绍请参见OBS存储类别。 保留源端存储类型转换说明 配置存储策略选择“保留源端存储类型”时,源端存储类型与华为云存储类型之间的转换关系参见表1。括号内的数值分别代表:每月每GB容量费用|每万次读取请求费用|每万次写入请求费用|每GB标准取回费用(
默认创建名称为“MaxCompute到DLI全量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择在完成准备工作时与迁移中心连接成功的MgC Agent。 源端配置 源端连接 选择创建的源端连接。 MaxCompute参数(可选) 非必填参数,一般为空。如
任务名称 默认创建名称为“MaxCompute到DLI全量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 预估项目周期(天)(可选) 配置后,系统会在任务执行时检查表的生命周