检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
户名/密码”,填写在CloudTable服务创建的目的端ClickHouse集群的登录用户名和密码。 数据库链接 填写连接到CloudTable(ClickHouse)的数据库链接地址。可以在ClickHouse集群的基本信息获取,对应参数为“集群访问地址”。 表3 CloudTable(HBase)服务参数配置说明
Doris凭证。 数据库地址 填写连接到源端Doris数据库的Doris FE实例IP地址。 Doris FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。 数据库端口 填写连接到源端Doris数据库的连接端口。
ask/日期/任务实例ID/日志文件;内容校验结果存放路径为:obs://mgc01/test/bigdata/task/任务实例ID/数据库名/表名/内容校验结果文件 如果不指定文件夹(不填写),系统将在日志桶内自动创建一个名为“bigdata”的默认文件夹。 日志文件存放路径
信息获取,对应参数为“集群访问地址”。 创建阿里云云数据库 ClickHouse统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤20.创建的表组。 任务类型请选择大数据组件中的“阿里云云数据库 ClickHouse”。 统计方式仅支持“全量校验”。
信息。 各地域Endpoint信息请参考Endpoint对照表。 表2 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent
允许执行shell脚本。在源端主机打开PowerShell(以管理员身份),然后运行以下命令来查看当前的执行策略。 Get-ExecutionPolicy 如果返回值为“Restricted”,则表示不允许运行任何脚本。需要执行如下命令,并输入Y,将策略改为“RemoteSigned”。 Set-ExecutionPolicy
n\start.bat,其中rda-collector-server可替换其他采集器的目录,目前包含采集器: 数据库采集器 :rda-collector-database。 容器采集器 :rda-collector-kubernetes。 平台采集器 :rda-collector-platform。
证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 私有云 用户名/密码 输入源端私有云的登录用户名、密码。 数据库 用户名/密码 输入数据库的登录用户名、密码。 大数据-执行机 用户名/密码 输入大数据所部署主机的登录用户名、密码;网段限制填写网段地址,可以是单个IP地址或IP地址段。
EKS服务提供的API,获取容器、虚拟机等资源信息。 接口返回:MgC接收API调用的返回值,这些返回值通常包含丰富的资源数据。 解析数据:MgC将返回的数据进行解析,提取关键信息,如节点数、虚拟机核数等。然后将这些关键信息保存到数据库中,为后续分析和迁移提供支持。 深度采集原理 MgC对AWS 容器资源进行深度采集的原理图,如图2所示。
字母和数字)”,也可以自定义名称。 元数据连接 选择步骤12.创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可
字母和数字)”,也可以自定义名称。 元数据连接 选择步骤12.创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可
主机资源。 添加数据库 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”,进入资源采集页面。 单击数据库资源类型,进入数据库资源列表。 单击“添加资源”按钮,弹出添加数据库窗口。 图2 添加数据库资源 根据表2,填写相应参数。
对于空文件夹,覆盖策略与文件相同。 CRC64对比覆盖 迁移前,对于源端和目的端存在的同名对象,对比源端和目的端对象元数据中的CRC64值,相同则跳过,不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间对比覆盖策略执行。 说明: 目前仅支持华为云、阿里云、腾讯云。 目的端OBS桶需开启CRC64特性白名单。
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。
FILE_SIZE_OVER_MAX_SIZE 分片超过最大值 10000。 每个分片最大支持1GB,单个对象超过1TB无法进行迁移。 FILE_PATH_TOO_LONG OBS文件路径超过最大值 1024。 OBS最大路径只支持1024位,超过最大值无法迁移。 父主题: 存储迁移
选择按比例计算,需要设置以下参数: 性能预留比例:默认值30%,1≤取值范围≤100。 容灾预留比例:默认值30%,1≤取值范围≤100。 资金成本比例:默认值6%,1≤取值范围≤100。 选择按金额输入,需要设置以下参数: 性能预留成本:默认值100000$,1≤取值范围≤1000000000000000。
对于空文件夹,覆盖策略与文件相同。 CRC64对比覆盖 迁移前,对于源端和目的端存在的同名对象,对比源端和目的端对象元数据中的CRC64值,相同则跳过,不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间对比覆盖策略执行。 说明: 目前仅支持华为云、阿里云、腾讯云。 目的端OBS桶需开启CRC64特性白名单。
对于空文件夹,覆盖策略与文件相同。 CRC64对比覆盖 迁移前,对于源端和目的端存在的同名对象,对比源端和目的端对象元数据中的CRC64值,相同则跳过,不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间对比覆盖策略执行。 说明: 目前仅支持华为云、阿里云、腾讯云。 目的端OBS桶需开启CRC64特性白名单。
对于空文件夹,覆盖策略与文件相同。 CRC64对比覆盖 迁移前,对于源端和目的端存在的同名对象,对比源端和目的端对象元数据中的CRC64值,相同则跳过,不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间对比覆盖策略执行。 说明: 目前仅支持华为云、阿里云、腾讯云。 目的端OBS桶需开启CRC64特性白名单。
Windows主机:用于传输链路初始化端口,建立数据传输通道。 数据传输控制端口 Windows主机用于传输任务控制信号的端口,默认值8899,不支持修改。 数据传输端口 Windows主机用于传输数据的端口,默认值8900,不支持修改。 开启加密 选择“否”:迁移工作流在创建目的端主机步骤不会设置主机系统盘和数据盘为加密盘。