检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS连接 介绍 通过OBS连接，可以对对象存储服务（Object Storage Service，简称OBS）抽取或加载文件，支持CSV、JSON和二进制格式。 连接样例 本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置
是 发送到Kafka的文本内容。可以直接输入文本或单击使用EL表达式编辑。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。
D。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 说明： 多个DataArts Studio实例需要指定工作空间。
多种场景的文字识别。 识别结果存储目录 是 指定识别结果存储的OBS目录。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。
0~172.31.0.0/12~19 192.168.0.0~192.168.0.0/16 ~19 说明： 为了后续使用对等连接打通网络，这里需设置与源端、目的端集群或实例不重叠的网段。如果重叠会导致网络不通。 受CCE底层逻辑限制，网段掩码最高为19位，20位之后不可选。 折扣额度(小时)
隔符来区分各个文件，默认为|。列表文件选择“是”时，不显示该参数。 | QUERY参数 该参数设置为“是”时，上传到OBS的对象使用的对象名，为去掉query参数后的字符。 该参数设置为“否”时，上传到OBS的对象使用的对象名，包含query参数。 否 忽略不存在原路径/文件 如
数据缓存队列大小，默认为0，即表示缓存队列不考虑数据大小，只按照数据条数计算。在debezium.max.queue.size无法有效限制内存占用时，考虑显式设置该值来限制缓存数据的大小。 jdbc.properties.socketTimeout int 300000 全量阶段连接Mysql的so
页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 在脚本目录顶部，单击，选择“责任人转移”。 图1 责任人转移 分别设置“当前责任人”和“目标责任人”，单击“转移”。 提示转移成功后，单击“关闭”。 相关操作 您可以根据脚本责任人筛选脚本，在脚本目录上方的搜
节点名称，只能包含英文字母、数字、中文字符、中划线、下划线、/、<>和点号，且长度小于等于128个字符。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。
> 作业开发”。 任务配置为天调度，如下图： 图1 调度周期配置为天 在节点的连线上，单击右键，选择设置条件，配置条件表达式。通过表达式来判断，是否执行后续的业务节点。 图2 设置条件表达式 表达式配置方法如下所示。 #{DateUtil.getDay(DateUtil.addDays(Job
记录数据迁移入库时间 CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库，以及目的端数据连接。 目的端数据表中已有时间日期字段或时间戳字段。
记录数据迁移入库时间 CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库，以及目的端数据连接。 目的端数据表中已有时间日期字段或时间戳字段。
页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 在作业目录顶部，单击，选择“责任人转移”。 图1 责任人转移 分别设置“当前责任人”和“目标责任人”，单击“转移”。 提示转移成功后，单击“关闭”。 相关操作 您还可以根据作业责任人筛选作业，在作业目录上方的
> 作业开发”。 任务配置为天调度，如下图： 图1 调度周期配置为天 在节点的连线上，单击右键，选择设置条件，配置条件表达式。通过表达式来判断，是否执行后续的业务节点。 图2 设置条件表达式 表达式配置方法如下所示。 #{DateUtil.getDay(DateUtil.addDays(Job
查询连接 功能介绍 查询连接接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
创建DataArts Studio数据连接 通过配置数据源信息，可以建立数据连接。DataArts Studio基于管理中心的数据连接对数据湖底座进行数据开发、治理、服务和运营。 配置开发和生产环境的数据连接后，数据开发时脚本/作业中的开发环境数据连接通过发布流程后，将自动切换对应生产环境的数据连接。
将读表和写表操作拆分为同一作业的不同节点，两个节点通过连线建立先后执行关系，避免同时执行冲突。 将读表和写表操作拆分为两个不同的作业，两个作业之间设置依赖关系，避免同时执行冲突。 父主题： 数据开发
单击“下一步”，配置调度方式，如图11所示。 图11 调度配置 单次调度表示需要手动触发运行，周期性调度表示会按照配置定期触发作业运行。此处以当天配置为例，设置每15分钟触发运行一次对账作业为例的配置。 单击“提交”， 完成对账作业的创建。 执行对账作业并查看结果分析 在数据质量模块左侧导航栏中，选择“数据质量监控
单击，前往数据集成模块的“通道管理”页面新建DIS通道。 前往DIS管理控制台进行新建。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。
TRUNCATE方式：清空DLI表分区。 INSERT_OVERWRITE方式：使用分区覆盖的方式写入数据。 INSERT_OVERWRITE 空字符串作为null 如果设置为true，空字符串将作为null。 否 自动建表模式 选择建表模式：一键建表，作业配置过程中一键建表，表生成后继续配置作业。 一键建表 分区
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
