检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务器通信的 HTTP 端口。默认为8123。 HTTP SSL/TLS端口 安全集群下,填写与目的端ClickHouse 服务器通信的HTTPS 端口。 表4 Hive Metastore连接参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“Hive-
元数据连接 选择步骤12.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值(即错误容忍度)。MgC提供了多种类型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。 说明(可选) 您可以输入用于区分表组的说明。
在左侧导航树选择“云边协同 > 凭证列表”,进入凭证列表页面。 单击列表上方的“创建凭证”按钮,弹出创建凭证窗口。 图1 创建凭证 按照窗口提示,选择资源类型后,选择认证方式并输入相应凭证,凭证名称为用户自定义,单击“确认”。 如果未连接迁移中心,添加的主机凭证可以用于本地主机深度采集。
元数据连接 选择步骤12.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值(即错误容忍度)。MgC提供了多种类型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。 说明(可选) 您可以输入用于区分表组的说明。
元数据连接 选择步骤12.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值(即错误容忍度)。MgC提供了多种类型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。 说明(可选) 您可以输入用于区分表组的说明。
用CDN降低源端出口下载流量的费用,可以勾选此选项。在域名输入框中输入自定义域名,并选择传输协议。HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。 源端为阿里云OSS、腾讯云COS时,如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。 SMN消息发送配置
选择在完成准备工作时,创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明 参数 说明 数据站点类型 选择“HTTP/HTTPS数据源”。 列表路径 填写在步骤二存放URL列表文件的文件夹名称(在本文示例中为minioUrl/),注意要在文件夹名称后面加上“/”。
目的端,可能会造成文件夹属性不完整。为规避这一风险,首次迁移时请谨慎使用“不覆盖”策略。 选择“不覆盖”策略进行数据迁移时,如果迁移任务因错误中断后重启或从暂停状态恢复,可能会造成部分数据未完全迁移,而任务显示成功的现象,影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。
元数据连接 选择步骤12.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值(即错误容忍度)。MgC提供了多种类型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。 说明(可选) 您可以输入用于区分表组的说明。
不会对源端数据进行修改。并提供了“导入本地文件”与“在线采集”两种采集方式。 数据传输 迁移中心为了确保数据传输安全,采用加密通道(HTTPS、SSH)进行数据传输。 凭证加密 在线采集时,采集凭证会加密存储在MgC服务端。用户也可以通过在源端部署MgC Agent(原Edge
元数据连接 选择步骤12.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值(即错误容忍度)。MgC提供了多种类型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。 说明(可选) 您可以输入用于区分表组的说明。
选择在完成准备工作时,创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明 参数 说明 数据站点类型 选择“HTTP/HTTPS数据源”。 列表路径 填写在步骤二存放URL列表文件的文件夹名称(在本文示例中为cephUrl/),注意要在文件夹名称后面加上“/”。 表3
服务器通信的 HTTP 端口。默认为8123。 HTTP SSL/TLS端口 安全集群下,填写与目的端ClickHouse 服务器通信的HTTPS 端口。 采集资源使用信息 可选参数。开启后,通过该连接创建的统计任务将收集大数据服务的资源使用信息,这些信息将用于MgC上的报告生成,以便于进行性能优化。
元数据连接 选择步骤12.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值(即错误容忍度)。MgC提供了多种类型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。 说明(可选) 您可以输入用于区分表组的说明。
SSL/TLS端口 安全集群下,与源端ClickHouse 服务器通信的HTTPS 端口。 可以登录源端集群的FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”,搜索“https_port”参数获取。 采集资源使用信息 可选参数。开
非安全集群下,与源端ClickHouse 服务器通信的 HTTP 端口。默认为8123。 HTTP SSL/TLS端口 安全集群下,与源端ClickHouse 服务器通信的HTTPS 端口。 表4 Hive Metastore连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“Hive-M
非安全集群下,与ClickHouse 服务器通信的 HTTP 端口。默认为8123。 HTTP SSL/TLS端口 安全集群下,与ClickHouse 服务器通信的HTTPS 端口。 表6 Delta Lake(有元数据)连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。 连接名称 默认创建
目的端,可能会造成文件夹属性不完整。为规避这一风险,首次迁移时请谨慎使用“不覆盖”策略。 选择“不覆盖”策略进行数据迁移时,如果迁移任务因错误中断后重启或从暂停状态恢复,可能会造成部分数据未完全迁移,而任务显示成功的现象,影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。
/root/data,/var。不填则校验所有目录文件。 仅包含下列目录:只对填写的目录文件进行校验。 须知: 请务必输入正确路径,路径错误或路径下不存在文件时,校验结果中会显示校验文件数量为0。 需要校验的数据量越大,则一致性校验的用时越长,建议仅对关键目录进行校验。 为避免校验数据量过大,以下路径将被默认排除:
/root/data,/var。不填则校验所有目录文件。 仅包含下列目录:只对填写的目录文件进行校验。 须知: 请务必输入正确路径,路径错误或路径下不存在文件时,校验结果中会显示校验文件数量为0。 需要校验的数据量越大,则一致性校验的用时越长,建议仅对关键目录进行校验。 为避免校验数据量过大,以下路径将被默认排除: