检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 作业开发”。 任务配置为天调度，如下图： 图1 调度周期配置为天 在节点的连线上，单击右键，选择设置条件，配置条件表达式。通过表达式来判断，是否执行后续的业务节点。 图2 设置条件表达式 表达式配置方法如下所示。 #{DateUtil.getDay(DateUtil.addDays(Job
页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 在作业目录顶部，单击，选择“责任人转移”。 图1 责任人转移 分别设置“当前责任人”和“目标责任人”，单击“转移”。 提示转移成功后，单击“关闭”。 相关操作 您还可以根据作业责任人筛选作业，在作业目录上方的
点名称同步变化禁用该功能。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试
自定义分页的脚本/MyBatis方式API是在创建API时将分页逻辑写到取数SQL中，因此不支持在调用时修改分页设置。 （可选）默认情况下，系统会根据排序参数信息给出默认排序情况，自定义排序默认为升序。如果需要修改排序情况，可以修改如下参数设置。其中排序参数描述pre_order_by的值填写形式为“排序参数参数名:
DDS连接参数说明 DDS连接适用于华为云上的文档数据库服务，常用于从DDS同步数据到大数据平台。 连接云服务DDS时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 DDS连接参数 参数名
> 作业开发”。 任务配置为天调度，如下图： 图1 调度周期配置为天 在节点的连线上，单击右键，选择设置条件，配置条件表达式。通过表达式来判断，是否执行后续的业务节点。 图2 设置条件表达式 表达式配置方法如下所示。 #{DateUtil.getDay(DateUtil.addDays(Job
将读表和写表操作拆分为同一作业的不同节点，两个节点通过连线建立先后执行关系，避免同时执行冲突。 将读表和写表操作拆分为两个不同的作业，两个作业之间设置依赖关系，避免同时执行冲突。 父主题： 数据开发
脏数据策略选择归档到OBS时显示该参数。 脏数据要写入的连接，目前只支持写入到OBS连接。 obslink 脏数据目录 设置脏数据的写入目录。 obs://default/ 脏数据阈值 是否写入脏数据为是时显示该参数。 用户根据实际设置脏数据阈值。 脏数据阈值会针对每个并发生效。比如阈值为100，并发为3，则该作业可容忍的脏数据条数为300。
Studio数据连接新建连接。 *数据库 呈现待扫描的数据库。单击数据库后的“设置”，设置待扫描的数据库范围。单击“清除”，可对已选择的数据库进行修改。 *数据表 对于DLI和DWS类型的敏感数据发现任务，您需要设置选择表的方式，当前支持手动筛选、通配符匹配和全部三种方式。 手动筛选：即
TRUNCATE方式：清空DLI表分区。 INSERT_OVERWRITE方式：使用分区覆盖的方式写入数据。 INSERT_OVERWRITE 空字符串作为null 如果设置为true，空字符串将作为null。 否 自动建表模式 选择建表模式：一键建表，作业配置过程中一键建表，表生成后继续配置作业。 一键建表 分区
信息。 实时集成作业监控：启动 单击“启动”，弹出“启动配置”界面。 设置“同步模式”和“时间”。 同步模式包含增量同步和全量同步。 时间表示配置的位点时间早于日志最早时间点时，会以日志最早时间点消费。当设置为“增量同步”时才显示时间参数。 单击“确定”，启动该任务。 实时集成作业监控：停止
myhuaweicloud.com，具体如表3所示。 表1 CDM数据集成Endpoint 区域名称 区域ID 终端节点（Endpoint） 协议类型 华北-北京一 cn-north-1 cdm.cn-north-1.myhuaweicloud.com HTTPS 华北-北京二 cn-north-2
进行编辑。 单击“保存”。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试
Elasticsearch分页查询，用来设置分页size的大小。 1000 ScrollId超时时间配置 Elasticsearch scroll查询时会记录一个scroll_id，超时或者scroll查询结束后会清除请求的srcoll_id，通过设置这个超时时间配置，来指定scroll_id超时时间。
MongoDB连接参数说明 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或ECS上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行
按钮可以查看相关作业。在“相关作业”页面，单击“查看”能跳转到对应的作业。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。
表前缀：开启“生成异常数据”时显示此项，表示存储异常数据的表的前缀。 表后缀：开启“生成异常数据”时显示此项，表示存储异常数据的表的后缀。 添加规则：单击“添加规则”进行设置。例如，添加名称为“字段唯一值”规则，选中该规则后单击“确定”，在“告警条件”中输入告警条件表达式，然后按照此方法添加其他规则后，单击“确定”。
path(String jsonStr,String jsonPath) 返回json字符串指定路径下的字段值。类似于XPath，path方法可以通过路径检索或设置JSON，其路径中可以使用.或[]等访问成员、数值，例如：tables[0].table_name。 字符串变量str的内容如下： {
Studio服务进入数据集成界面可以看到。 单击集群名称后，选择“标签”页签。 图2 修改集群配置 单击“添加/编辑标签”，通过添加、修改标签为CDM集群设置资源标识。 图3 添加标签 一个集群最多可添加10个标签。 标签键（key）的最大长度为36个字符，标签值（value）的最大长度为43个字符。
迁移。 否 键分隔符 用来分隔关系型数据库的表和列名。 _ 值分隔符 以STRING方式存储时，列之间的分隔符。 ; key值有效期 用于设置统一的生存时间，单位：秒。 300 父主题： 配置CDM作业目的端参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
