检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark等多种数据处理节点，提供丰富的调度配置策略与海量的作业调度能力。 统一调度和运维 全面托管的调度，支持按时间、事件触发的任务触发机制，支持分钟、小时、天、周和月等多种调度周期。 可视化的任务运维中心，监控所有任务的运行，支持配置各类报警通知，便于责任人实时获取任务的情况，保证业务正常运行。
)，否则写入到MRS ClickHouse的值会为0。 请确认目的端表引擎是否为ReplicatedMergeTree引擎，该引擎自带去重机制，且去重数据不能准确预测，选用该引擎应保证数据唯一性，否则会造成不唯一数据被忽略写入，或尝试替换其他表引擎，例如MergeTree。 表1
击界面显示的参数从而输入告警表达式中的告警参数，单击后系统会在“告警表达式”输入框给出参数的表达式。 例如“规则模板”为“字段空值”时，单击告警参数“空值行数”，在“告警表达式”输入框会显示为“${1}”。 逻辑运算符 可选，本参数支持将单一告警表达式的结果进行逻辑运算，组成更复杂的告警条件。
字段”，并设置“表达式”。 在某个公式后面单击删除按钮，可以将该公式删除。 图2 通用限定 告警配置 由衍生指标和表达式组成，表达式由告警参数和逻辑运算符组成。在指标运行时，系统将计算出告警条件表达式的结果，并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警，结果为假则不触发质量告警。
确定”。 在“告警条件”输入框中，请输入告警条件表达式，在质量作业运行时，系统将计算出告警条件表达式的结果，并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警，结果为假则不触发质量告警。 告警条件表达式由告警参数和逻辑运算符组成。 每个规则的告警参数
nput_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据运行环境动态生成参数值。表达式的语法：#{expr}，其中“expr”指的是表达式。例如“time”=“#{DateUtil.now()}”用来标识当前日期字符串。 约束限制
nput_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据运行环境动态生成参数值。表达式的语法：#{expr}，其中“expr”指的是表达式。例如“time”=“#{DateUtil.now()}”用来标识当前日期字符串。 约束限制
nput_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据运行环境动态生成参数值。表达式的语法：#{expr}，其中“expr”指的是表达式。例如“time”=“#{DateUtil.now()}”用来标识当前日期字符串。 约束限制
所示。 图5 独立执行时的脚本参数 开发一个脚本。开发脚本时，脚本表达式里面必须包含变量（例如，SQL中变量是DATE，脚本中就写${DATE}）。在作业参数配置里面，您可以在2中编写脚本参数DATE的语句表达式。 在“脚本开发”界面，在编辑器中输入开发语句，如下图所示。 INSERT
00:00:00”固定参数值，也可以配置为EL表达式，例如：计划运行日期的前一天：#{DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyy-MM-dd")}，更多EL表达式请参见EL表达式。 保存并提交作业版本，单击“测试运行”，执行数据开发作业。
击界面显示的参数从而输入告警表达式中的告警参数，单击后系统会在“告警表达式”输入框给出参数的表达式。 例如“规则模板”为“表行数”时，单击告警参数“总行数”，在“告警表达式”输入框会显示为“${1_1}”。 逻辑运算符 可选，本参数支持将单一告警表达式的结果进行逻辑运算，组成更复杂的告警条件。
id。因为Kafka把消费消息的一方称为消费者(Consumer)，多个消费者组成一个消费组(Consumer Group)，消费组是Kafka提供的可扩展且具有容错性的消费者机制，建议配置消费组。 Kafka源端属性配置：支持设置Kafka的配置项，需要增加 properties. 前缀，作业将自动移除前缀并传入底
“告警条件”中输入告警条件表达式，然后按照此方法添加其他规则后，单击“确定”。告警表达式举例如下： 告警条件表达式，由告警参数和逻辑运算符组成。在质量作业运行时，系统将计算出告警条件表达式的结果，并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警，结
名称。 说明： 定义数据分类规则，名称必须唯一。 识别规则 分类类型选择“自定义”，呈现此参数，支持正则表达式。 正则表达式 内容识别：提供的数据识别方式之一，自定义正则表达式。 列名识别：提供字段名精确匹配和模糊匹配方式，支持多个字段匹配。 描述 对当前规则进行简单描述。 新建分组
PPY和GZ算法，默认为“NONE”。 toJobConfig.writeToWAL 否 Boolean 选择是否开启HBase的预写日志机制（WAL，Write Ahead Log）。 是：开启后如果出现HBase服务器宕机，则可以从WAL中回放执行之前没有完成的操作。 否：关
d 否 String 数据来源工作空间id。 表4 SchedulerInfo 参数 是否必选 参数类型 描述 cron_expression 否 String 表达式。 end_time 否 String 结束时间。 max_time_out 否 Integer 最大超时时间。
regexSeparator 否 Boolean 是否使用正则表达式分割字段，当文件格式为“CSV_FILE”时此参数有效。 fromJobConfig.regex 否 String 正则表达式，当选择使用正则表达式分割字段时，此参数有效。 fromJobConfig.firstRowAsHeader
通过内置的正则表达式规则，校验数据表中指定字段的合法情况（如果数据为空，则视为非法字段）。 邮箱校验 通过内置的正则表达式规则，校验数据表中指定字段的合法情况。 正则表达式校验 通过输入自定义的正则表达式，校验数据表中指定字段的合法情况。 IP地址校验 通过内置的正则表达式规则，校验数据表中指定字段的合法情况。
V只支持\作为转义符。 是 使用正则表达式分隔字段 选择是否使用正则表达式分隔字段，当选择“是”时，“字段分隔符”参数无效。当“文件格式”选择为“CSV格式”时，才有该参数。 是 正则表达式 分隔字段的正则表达式，正则表达式写法请参考正则表达式分隔半结构化文本。 ^(\d.*\d)
d 否 String 数据来源工作空间id。 表4 SchedulerInfo 参数 是否必选 参数类型 描述 cron_expression 否 String 表达式。 end_time 否 String 结束时间。 max_time_out 否 Integer 最大超时时间。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
