检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
元数据连接 根据实际需求,选择已创建的元数据连接类型。 数据库 填写需要进行元数据同步的数据库名称。 须知: 元数据连接为MaxCompute类型时,该参数为必填参数,不能为空。其他元数据连接类型,该参数为可选参数,不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1
{和}定义元素之间的选择:包含一个以逗号分隔的模式列表, 其中任何一种模式都可能匹配,可以包含通配符。 特殊字符可以在它们之前使用 \进行转义,\后面为通配符时,表示转义,否则表示\本身 除{ 和 } 以外,不能出现连续的规则符号,例如:***、*?、**?、?*、?**、*{*、*}*、*}
方式请参考添加资源凭证,类型选择“大数据-Doris”。 数据库地址 填写连接到Doris集群部署的服务器IP地址。 数据库端口 填写连接到Doris集群部署的服务器的端口。默认为3306。 数据库名 填写Doris数据库名称。 表4 HBase连接参数配置说明 参数 配置说明 所属源
容器资源需要完成深度采集后,才可以进行迁移方案设计。 中间件、数据库、存储等资源可直接进行迁移方案设计。支持对AWS RDS(包括MySQL、MariaDB、Aurora、PGSQL、SQLServer、Oracle)和AWS DocumentDB数据库进行深度采集,以获取数据库更详细的信息。 对象
容器资源需要先完成深度采集,再进行迁移方案设计。 中间件、数据库、存储等资源可直接进行迁移方案设计。支持对AWS RDS(包括MySQL、MariaDB、Aurora、PGSQL、SQLServer、Oracle)和AWS DocumentDB数据库进行深度采集,以获取数据库更详细的信息。 对象
(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可
利用创建的Delta Lake元数据连接,将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake(有元数据)支持创建数据湖元数据同步任务。 Delta Lake(无元数据)只能通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。 前提条件 已创建Delta
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true:
n\start.bat,其中rda-collector-server可替换其他采集器的目录,目前包含采集器: 数据库采集器 :rda-collector-database。 容器采集器 :rda-collector-kubernetes。 平台采集器 :rda-collector-platform。
阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 ClickHouse凭证 选择在MgC Agent添加的源端阿里云云数据库Clic
表2 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 ClickHouse凭证 选择在Edge添加的源端阿里云云数据库ClickH
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true:
非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按数据库进行筛选,在数据库参数框中输入待迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模
ClickHouse连接 ClickHouse、阿里云云数据库ClickHouse和CloudTable(Clickhouse)组件配置参数。 创建源端统计任务时,选择源端MRS ClickHouse连接或阿里云云数据库ClickHouse连接。 创建目的端统计任务时,选择目的端MRS
非必填参数,一般为空。如有需要可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按数据库进行筛选,在数据库参数框中输入需要增量待迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.
户名/密码”,填写在CloudTable服务创建的目的端ClickHouse集群的登录用户名和密码。 数据库链接 填写连接到CloudTable(ClickHouse)的数据库链接地址。可以在ClickHouse集群的基本信息获取,对应参数为“集群访问地址”。 表3 CloudTable(HBase)服务参数配置说明
户名/密码”,填写在CloudTable服务创建的目的端ClickHouse集群的登录用户名和密码。 数据库链接 填写连接到CloudTable(ClickHouse)的数据库链接地址。可以在ClickHouse集群的基本信息获取,对应参数为“集群访问地址”。 表3 CloudTable(HBase)服务参数配置说明
ClickHouse连接 ClickHouse、阿里云云数据库ClickHouse和CloudTable(Clickhouse)组件配置参数。 创建源端统计任务时,选择源端MRS ClickHouse连接或阿里云云数据库ClickHouse连接。 创建目的端统计任务时,选择目的端MRS
各地域Endpoint信息请参考Endpoint对照表。 表11 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具
主机资源。 添加数据库 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”,进入资源采集页面。 单击数据库资源类型,进入数据库资源列表。 单击“添加资源”按钮,弹出添加数据库窗口。 图2 添加数据库资源 根据表2,填写相应参数。