检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
b3c745:表示cdm.medium规格,4核CPU、8G内存的虚拟机适合单张表规模<1000万条的场景。 5ddb1071-c5d7-40e0-a874-8a032e81a697:表示cdm.large规格,8核CPU、16G内存的虚拟机。适合单张表规模≥1000万条的场景。
取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 Doris_link 数据库服务器 一个或多个通过分号分隔的服务器列表(服务器域名或IP地址)。 说明: 开源Doris由用户直接填写。 MRS Doris配置方法:登录MRS Doris数据源
前提条件 用户拥有EIP配额。 用户已购买RDS数据库实例,该实例的数据库引擎为MySQL。 本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上,需要确保MySQL可以通过公网IP访问,或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。
如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MySQL。
标。 免运维 需要自行开发完善运维功能,自行保证系统可用性,尤其是告警及通知功能,否则只能人工值守。 使用CDM服务,用户不需要维护服务器、虚拟机等资源。CDM的日志,监控和告警功能,有异常可以及时通知相关人员,避免7X24小时人工值守。 高效率 在迁移过程中,数据读写过程都是由
创建Oracle连接 表1 Oracle连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。
创建Oracle连接 表1 Oracle连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。
如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致,且推荐子网、安全组也与云搜索服务一致。
如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致,且推荐子网、安全组也与云搜索服务一致。
类型:字符串。request_id-timestamp-hostname(request_id在服务器端生成UUID, timestamp为当前时间戳,hostname为处理当前接口的服务器名称)。 默认值:无。 否 X-ratelimit 此字段携带总计流控请求数。 类型:整型。 默认值:无。
持续拉取数据时间。如天调度作业,根据每天topic产生的数据量,配置足够的拉取时间。单位:分钟。 60 等待时间 当配置为60时,如果消费者60s内从Kafka拉取数据返回一直为空(一般是已经读完主题中的全部数据,也可能是网络或者Kafka集群可用性原因),则立即停止任务,否则持续重试读取数据。单位:秒。 60 消费组ID
标。 免运维 需要自行开发完善运维功能,自行保证系统可用性,尤其是告警及通知功能,否则只能人工值守。 使用CDM服务,用户不需要维护服务器、虚拟机等资源。CDM的日志,监控和告警功能,有异常可以及时通知相关人员,避免7*24小时人工值守。 高效率 在迁移过程中,数据读写过程都是由
CDM集群是否支持升级操作? CDM集群目前不支持升级操作,如果需要使用高版本集群则需要重新创建。 父主题: 通用类
必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名
如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与DWS集群所在的网络一致。
如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与DWS集群所在的网络一致。
POSTGRESQL DWS DDM SAP HANA linkConfig.host 是 String 数据库服务器地址。 linkConfig.port 是 String 数据库服务器的端口号。 linkConfig.databaseconfig 否 枚举 创建Oracle连接时才有该参数,选择Oracle数据库连接类型:
免空间占用。 不支持对象多版本的迁移。 增量迁移时,单个作业的源端目录下的文件数量或对象数量,根据CDM集群规格分别有如下限制:大规格集群30万、中规格集群20万、小规格集群10万。 如果单目录下文件或对象数量超过限制,需要按照子目录来拆分成多个迁移作业。 DLI数据源约束 使用
的建议单线程抽取数据。 集群最大抽取并发数规格 该参数设置为适当的值可以有效提升迁移速度,过小则会限制迁移速度,过大则会导致源端负载过高、影响系统稳定性。 不同规格的CDM集群支持的的最大抽取并发数规格不同,并发数上限建议设置为vCPU核数*2。 cdm.large:16 cdm
要迁移其他数据源,则CDM集群所在的VPC、子网、安全组选择任一个即可,没有要求,CDM通过内网访问DLI和OBS。主要是选择CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 创建DLI连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理