检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
约束限制 手动配置血缘当前暂不支持字段级血缘解析。 自动血缘解析 自动血缘解析无需进行手动配置，当数据开发作业中包含如表1所示节点及场景时，系统支持自动解析血缘关系。 解析SQL节点的血缘时，支持多SQL解析及列级血缘解析，单条SQL语句不支持SQL中含有分号的场景。
时间宏变量使用解析 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符
时间宏变量使用解析 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符
解析响应消息体中的流 导出作业和导出连接的接口响应消息是一个流，需要转化为一个文件。
使用原始日期格式来解析字符串，将字符串解析为一个日期对象。可以使用DateUtils.parseDate函数来解析，语法是：DateUtils.parseDate(String value, String format)。
Oracle数据源如何开通归档日志、查询权限和日志解析权限？ 问题描述 Oracle数据源默认权限无法正常执行实时处理集成作业。 原因分析 Oracle库需要开启归档日志，归档日志建议至少保留三天。 Oracle表没有表查询权限和日志解析权限。 解决方案 开启归档日志。
约束限制 手动配置血缘当前暂不支持字段级血缘解析。 自动血缘解析 自动血缘解析无需进行手动配置，当数据开发作业中包含如表1所示节点及场景时，系统支持自动解析血缘关系。 解析SQL节点的血缘时，支持多SQL解析及列级血缘解析，单条SQL语句不支持SQL中含有分号的场景。
JSON格式：支持对消息内容以JSON的层级格式进行解析。 CSV格式：支持对消息内容以CSV格式指定分隔符进行解析。 TEXT格式：将整条消息内容作为文本直接同步。 消费组ID：由用户指定，标识当前实时处理集成作业的消费组。
cdm 数据格式 解析数据时使用的格式： 二进制格式：适用于文件迁移场景，不解析数据内容原样传输。 CSV格式：以CSV格式解析源数据。 JSON格式：以JSON格式解析源数据。 二进制格式 字段分隔符 数据格式为“CSV格式”时呈现此参数。
在数据开发中，当作业进行“执行调度”时，系统开始解析血缘关系。 测试运行不会解析血缘。 图1 作业调度 待调度作业成功运行完成后，等待约1分钟左右，数据血缘关系即可生成成功。
Oracle 库需要开启归档日志，归档日志建议至少保留三天，开通归档日志详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限？。 Oracle 需表查询权限和日志解析权限，开通对应权限详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限？。
Oracle 库需要开启归档日志，归档日志建议至少保留三天，开通归档日志详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限？。 Oracle 需表查询权限和日志解析权限，开通对应权限详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限？。
通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值 如图1所示，第一个Rest Client调用了MRS服务查询集群列表的API，图2为API返回值的JSON消息体。
通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值 如图1所示，第一个Rest Client调用了MRS服务查询集群列表的API，图2为API返回值的JSON消息体。
数据血缘在数据目录中展示，首先要完成元数据采集任务，其次数据开发作业中要包含支持自动血缘解析的节点类型和场景，或者在作业节点中已自定义血缘关系的输入表和输出表。当存在运行成功的数据开发作业调度任务时，系统会生成作业中的血缘关系，并在数据目录中进行可视化展示。
如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。
如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。
如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。
如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。
在数据开发中，当作业进行“执行调度”时，系统开始解析血缘关系。 测试运行不会解析血缘。 图1 作业调度 待调度作业成功运行完成后，等待约1分钟左右，数据血缘关系即可生成成功。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
