检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
景，支持的数据源请参见分库分表同步支持的数据源类型。 整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体同步场景，支持的数据源请参见整库同步支持的数据源类型。 因各版本集群支持的数据源有所差异，其他版本支持的数据源仅做参考。 不同CDM集群支持的数据源程度不一样，以实际为准。
支持的数据源 实时集成作业支持的数据源如表1所示。 表1 实时集成作业支持的数据源 数据源分类 源端数据源 对应的目的端数据源 相关文档 关系型数据 MySQL Hadoop：MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统：DMS Kafka MySQL同步到DMS
支持的数据源 支持的数据源（2.10.0.300） 支持的数据源（2.9.3.300） 支持的数据源（2.9.2.200） 支持的数据类型 父主题： 数据集成（CDM作业）
持的数据源类型。 本文介绍2.9.3.300版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异，其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源
数据集成组件中集成作业支持的数据源与其他组件数据源情况维度不同，因此在数据集成章节内呈现，不在本章节内进行说明。当前集成作业包含CDM作业、离线作业和实时作业三种场景，支持的数据源情况如下： 数据集成（CDM作业）的数据连接在CDM集群中创建，CDM集成作业支持的数据源与CDM集群版本相关，
支持的数据源类型。 本文介绍2.10.0.300版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异，其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源
持的数据源类型。 本文介绍2.9.2.200版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异，其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源
获取数据源中的表 功能介绍 获取数据源中的表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/{connection_id}/datatables 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。
CDM集群与目标数据源可以正常通信。 如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目标数据源为云上服务（如DW
通过KMS加解密数据源认证信息，选择KMS中的任一默认密钥或自定义密钥即可。 说明： 第一次通过DataArts Studio或KPS使用KMS加密时，会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息，请参见什么是默认密钥。 数据源认证及其他功能配置
采集数据源的元数据 元数据简介 配置元数据采集任务 查看任务监控 父主题： 数据目录
仅当在数据开发组件作业中通过DLI Spark节点选择自定义镜像时，需要容器镜像服务中的镜像读取权限，推荐账号管理员通过镜像授权的方式为用户授予权限（SWR管理员权限账号登录容器镜像服务SWR控制台，在左侧导航栏选择“我的镜像”，进入所需自定义镜像的镜像详情页面，为用户授予该镜像的读取权限）。否则，则需要为用户授予SWR
数据源元数据获取 获取数据库列表 获取schemas 获取数据源中的表 获取数据源中表的字段 父主题： 管理中心API
获取数据源中表的字段 功能介绍 获取数据源中表的字段。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/{connection_id}/datatables/{table_id}/columns 表1 路径参数 参数 是否必选 参数类型 描述 project_id
资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属Regio
件）打包到镜像中，生成自己的自定义镜像，然后将镜像发布到SWR（容器镜像服务）中，最后在此选择自己生成的镜像，运行作业。 自定义镜像可以改变Spark作业和Flink作业的容器运行环境。用户可以将一些私有能力内置到自定义镜像中，从而增强作业的功能、性能。关于自定义镜像的更多详情，请参见自定义镜像。
数据源接口 获取数据连接信息 父主题： 数据架构API
选择自定义镜像和对应版本。仅当DLI队列为容器化队列类型时，出现本参数。 自定义镜像是DLI的特性。用户可以依赖DLI提供的Spark或者Flink基础镜像，使用Dockerfile将作业运行需要的依赖（文件、jar包或者软件）打包到镜像中，生成自己的自定义镜像，然后将镜像发布到S
Client SWR SWR Admin 仅当在数据开发组件作业中使用DLI Spark节点选择自定义镜像时，需要容器镜像服务中的镜像读取权限。 推荐通过镜像授权管理，添加所需镜像的读取权限。不推荐直接为用户授予SWR Admin系统角色， 可能存在权限过大的风险。 数据目录 OBS
1.1 作业特性 否 用户作业使用的Spark镜像类型（当前支持基础型、AI增强型和自定义的Spark镜像）。 基础型 AI增强型 自定义镜像 当选择“自定义镜像”时，请选择自定义的镜像名称，版本号系统自动展示。您可以前往容器镜像服务进行设置。 作业运行资源 否 8核32G内存 16核64G内存
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
