检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消息系统 DMS Kafka 对象存储：OBS Apache Kafka Hadoop：MRS Kafka 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 父主题： 实时处理集成作业开发
正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的结果写入目的端。
正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的结果写入目的端。
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？ 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入，但并无脏数据。这种情况下需要调低并发任务数，即可避免此类问题。 父主题： 数据集成
迁移数据到DLI时，DLI要在OBS的dli-trans*内部临时桶生成数据文件，因此在需要赋予DLI连接中使用AK/SK所在用户对dli-trans*桶的读、写、创建目录对象等权限，否则会导致迁移失败。
关联对象 表示该字段名称的配置类型对应的关联对象。比如衍生指标的名称。 主键 选中时表示该字段为主键。
源端为DMS Kafka，目的端为OBS 目前支持整库场景。 整库场景 源端配置。 Kafka配置。 数据格式：源端Kafka Topic中消息内容的格式。 目前支持JSON、CSV、TEXT格式。 JSON格式：支持对消息内容以JSON的层级格式进行解析。
对象存储服务（OBS） 请参见OBS数据连接参数说明。 Apache HDFS 请参见Apache HDFS数据连接参数说明。 MRS Hudi 请参见MRS Hudi数据连接参数说明。 Elasticsearch 请参见Elasticsearch数据连接参数说明。
上传数据到名称为“fast-demo”的OBS桶中。 使用OBS控制台上传文件的操作，请参见《对象存储服务控制台指南》中的上传文件。
解决方案 CDM服务暂不支持该操作，建议通过手动导出MySQL的数据文件，然后在服务器上开启SFTP服务，然后新建CDM作业，源端是SFTP协议，目的端是OBS，将文件传过去。 父主题： 数据集成
按源端分区投递到对应的Partition：源端消息在第n个分区，则投递到目的端的第n个分区，该策略可以保证消息顺序。 按轮询模式投递到不同的Partition：采用Kafka粘性分区策略均匀的投递到目的端主题的所有分区，该策略无法保证消息顺序。
对象存储 对象存储服务（OBS） 支持按文件分片。 文件系统 FTP 支持按文件分片。 SFTP 支持按文件分片。 HTTP 支持按文件分片。 关系型数据库 云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。
状态码 状态码 描述 200 Success，返回data数据是 BatchOperationVO对象，批量对象在BatchOperationVO.group属性中。
查询业务资产 功能介绍 查询业务资产，包含数据规范同步过来的业务对象和逻辑实体。 调用方法 请参见如何调用API。
查询业务资产目录树 功能介绍 逐级查询业务资产目录树，包含数据规范同步过来的业务对象和逻辑实体。 调用方法 请参见如何调用API。
每张目的端表会在基础路径下创建子目录，支持HDFS或OBS路径。 OBS格式：obs://{桶名}。 HDFS格式：/tmp。 Hudi表属性全局配置：单击“查看编辑”配置Hudi表属性全局配置。
请求参数 表2 参数说明 参数名 是否必选 参数类型 说明 path 是 String 有OBS场景：作业定义文件在OBS上的路径，作业定义文件的格式参考导出作业的响应消息。例如obs://myBucket/jobs.zip。
表3 请求Body参数 参数 是否必选 参数类型 描述 variables 否 Object 启动作业，配置变量参数，作业配置无变量时，为空对象。
每张目的端表会在基础路径下创建子目录，支持HDFS或OBS路径。 OBS格式：obs://{桶名}。 HDFS格式：/tmp。 Hudi表属性全局配置：单击“查看编辑”配置Hudi表属性全局配置。
源端为MySQL，目的端为DMS Kafka 本章节适用于配置实时处理集成作业MySQL到DMS Kafka链路，期望将源端1个或多个Mysql实例的数据实时同步到目的端为DMS Kafka数据库的场景。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
