检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该工具在删除前进行过对数操作,可以单击“查看”按钮,查看已有数据。 如迁移工具状态为“离线”、“未启用”,代表该工具无法进行对数相关操作,单击“查看”按钮,界面上的所有操作按钮会被禁用。 在进行大数据校验前,请确保迁移工具Edge处于在线并启用状态。 父主题: 大数据校验
在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集
该工具在删除前进行过对数操作,可以单击“查看”按钮,查看已有数据。 如迁移工具状态为“离线”、“未启用”,代表该工具无法进行对数相关操作,单击“查看”按钮,界面上的所有操作按钮会被禁用。 在进行大数据校验前,请确保MgC Agent处于在线并启用状态。 父主题: 大数据校验
在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集
在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集
启用:记录存储迁移过程中的日志,便于查看和定位迁移中出现的问题。 不启用:不记录存储迁移过程中的日志。 - 参数配置完成后,单击“确认”开始创建集群。在迁移集群列表中查看集群状态,状态详情参见集群状态说明。如果集群状态为创建失败,将鼠标移动到“创建失败”上,可以查看失败原因。在解决失败原因后,可以通过操作列的“更多
在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集
在增量数据校验中,如果通过Metastore查询,当分区数量超过30,000时,可能会因为将所有分区信息加载到内存中而导致内存溢出(OOM)。因此,使用MySQL作为元数据仓可以有效地解决这一问题。 不启用:系统通过MetaStore查询Hive表的分区信息。 启用:配置MySQL
在增量数据校验中,如果通过Metastore查询,当分区数量超过30,000时,可能会因为将所有分区信息加载到内存中而导致内存溢出(OOM)。因此,使用MySQL作为元数据仓可以有效地解决这一问题。 不启用:系统通过MetaStore查询Hive表的分区信息。 启用:配置MySQL
在资源采集页面,单击任务总数后的“查看”,进入任务列表页面。可以查看任务状态和任务详情。如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。 在资源采集页面的“资源列表”,单击主机资源类型或数量,进入资源列表页面的主机页签,可以查看采集的主机资源列表和资源详情。
填写连接源端ClickHouse集群的外网地址。可以在集群信息页面,查看外网地址。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与云服务建立连接,测试通过代表与云服务连接成功。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。
迁移对源端和目的端有什么要求? 迁移会占用源端和目的端大量的QPS(每秒查询率)和带宽。因此,建议在迁移前先进行测试,以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移
在增量数据校验中,如果通过Metastore查询,当分区数量超过30,000时,可能会因为将所有分区信息加载到内存中而导致内存溢出(OOM)。因此,使用MySQL作为元数据仓可以有效地解决这一问题。 不启用:系统通过MetaStore查询Hive表的分区信息。 启用:配置MySQL
在增量数据校验中,如果通过Metastore查询,当分区数量超过30,000时,可能会因为将所有分区信息加载到内存中而导致内存溢出(OOM)。因此,使用MySQL作为元数据仓可以有效地解决这一问题。 不启用:系统通过MetaStore查询Hive表的分区信息。 启用:配置MySQL
填写连接源端ClickHouse集群的外网地址。可以在集群信息页面,查看外网地址。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与云服务建立连接,测试通过代表与云服务连接成功。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。
/hosts文件中的内容,并确保该文件能被访问。文件内写入相关云服务的接口域名映射,并以#Migration-proxy-start开始,以#Migration-proxy-end结束。相关云服务的接口域名映射需要根据具体的环境而定,请联系对应局点的环境接口人获取。 示例: #M
创建一个文本文件,包含需要追加到源端主机hosts文件中的内容,并确保该文件能被访问。文件内写入相关云服务的接口域名映射,并以#Migration-proxy-start开始,以#Migration-proxy-end结束。相关云服务的接口域名映射需要根据具体的环境而定,请联系对应局点的环境接口人获取。 示例: #M
创建目的端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括: 数据湖探索(DLI) CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
创建目的端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括: 数据湖探索(DLI) CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录
连接中 等待master节点上线,并开始创建和安装其他节点 健康 所有节点均处于在线状态 亚健康 部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线 不可用 所有迁移节点或列举节点不在线 离线 master节点离线,可能是网络中断、ECS删除等原因,请排查Vpcep