检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ID。 默认会随机生成一个5400~6400的值。 scan.startup.mode 否 initial String 消费数据时的启动模式。 initial(默认):在第一次启动时,会先扫描历史全量数据,然后读取最新的Binlog数据。 latest-offset:在第一次启
Prometheus通用集群,创建AOM Prometheus通用集群不收费,AOM的计费项由自定义指标上报量、指标存储时长、数据转储量的费用组成。了解AOM计费模式与计费项。 AOM 2.0基于自定义指标上报量进行计费,了解计费规则。 仅支持AOM Prometheus for通用实例。 弹性资源池对
在物化后的 changelog 上主键具有唯一性。定义的主键将决定哪些字段出现在Kafka消息的key中。 由于该连接器以 upsert 的模式工作,该连接器作为 source 读入时,可以确保具有相同主键值下仅最后一条消息会生效。 数据类型的使用,请参考Format章节。 语法格式
数和示例代码。详情可参考:Apache Flink Hive Read & Write Flink支持在BATCH 和 STREAMING模式下从Hive读取数据。当作为BATCH应用程序运行时,Flink将在执行查询的时间点对表的状态执行查询。STREAMING读取将持续监控表
driver任务数超过“单spark driver实例最大并发数”的值时,作业将会分配到预先启动的spark driver上面。 当队列为16CUs时范围:0-1 当队列大于16CUs时范围:2-(CU数/16) 队列最小CUs小于16CUs时,该配置项不生效。 单spark driver实例最大并发数
entries 单次batch插入entry的条数上限,默认为1000。如果单条数据非常大,在bulk存储设置的数据条数前提前到达了单次batch的总数据量上限,则停止存储数据,以batch.size.bytes为准,提交该批次的数据。 batch.size.bytes 单次batch
specific-offsets 否 无 String 在scan.startup.mode参数指定为'specific-offsets'模式下生效,为每个分区指定偏移量,例如:partition:0,offset:42;partition:1,offset:300'。 scan
查看作业的CU数量,即作业占用资源总CUs数。 该CUs数可以编辑作业页面进行配置,CUs数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CUs数。 图1 查看Flink作业所需CUs数 Spark作业: 登录DLI管理管理控制台。 选择“作业管理 > Spark作业”。
REGEXP(string1, string2) BOOLEAN 对指定的字符串执行一个正则表达式搜索,并返回一个BOOLEAN值表示是否找到指定的匹配模式。若找到,则返回TRUE。其中string1表示指定的字符串,string2表示正则表达式 若存在参数为null,则返回null REVERSE(string)
REGEXP(string1, string2) BOOLEAN 对指定的字符串执行一个正则表达式搜索,并返回一个BOOLEAN值表示是否找到指定的匹配模式。若找到,则返回TRUE。其中string1表示指定的字符串,string2表示正则表达式 若存在参数为null,则返回null REVERSE(string)
schema-syntax取值约束详见schema-syntax取值约束说明。 deploy-mode 否 standalone String redis集群的部署模式,支持standalone、master-replica、cluster,默认standalone。 retry-count 是 5 Integer
语句修改成为乘除取余的运算,是无法从checkpoint直接恢复的。 修改“静态流图” 不支持 该操作修改了作业对资源的算法逻辑。 修改“单TM所占CU数”参数 支持 对计算资源的修改并没有影响到作业算法或算子的运行逻辑。 作业运行异常或物理停电 支持 未修改作业参数和算法逻辑。
getJobId() + ", Status : " + status.getName()); } 在提交导出作业前,可选设置数据格式,压缩类型,导出模式等,如样例所示,分别调用ExportJob对象的setStorageType、setCompressType、setExportMode接
schema-syntax取值约束详见schema-syntax取值约束说明。 deploy-mode 否 standalone String redis集群的部署模式,支持standalone、master-replica、cluster。默认为standalone。 retry-count 否 5 Integer
urce_disQFXD sinkChannel=xx # dis消费组,需要提前在dis的Apps中创建 groupId=xx # 消费模式,从最开始消费或者EARLIEST从最新开始消费LATEST startOffset=LATEST # flink保存checkpoint的路径
接。 TableName 指定在HBase集群中已创建的表名。 RowKey 指定作为rowkey的dli关联表字段,支持单rowkey与组合rowkey。单rowkey支持数值与String类型,不需要指定长度。组合rowkey仅支持String类型定长数据,格式为:属性名1:长度
参数类型 描述 queue_scaling_policies 是 Array of objects 该队列在该弹性资源池下的扩缩容策略信息。单条策略信息包含时间段、优先级和CU范围。每个队列至少要配置一条时间段为[00:00, 24:00]的默认扩缩容策略。详细参数说明请参考表3。
的延迟时间,每到达一个迟到数据,则更新窗口的输出结果 注意事项 若使用insert语句将结果写入sink中,则sink需要支持upsert模式,所以结果表需要支持upsert操作,且定义主键。 延迟时间设置仅用于事件时间,在处理时间中不生效。 辅助函数必须使用与 GROUP BY
延迟时间,每到达一个迟到数据,则更新窗口的输出结果 注意事项 如果使用insert语句将结果写入sink中,则sink需要支持upsert模式,所以结果表需要支持upsert操作,且定义主键。 延迟时间设置仅用于事件时间,在处理时间中不生效。 辅助函数必须使用与 GROUP BY
“有效期”中的“开始时间”需要晚于当前的系统时间。 如果只设置了扩容,在“有效期”结束之后,系统不会自动缩容,需要手动修改或设置缩容定时任务。反之亦然。即为单次执行定时扩缩容。 如果同时设置了扩容和缩容,在有效期内会按照设定扩缩容,在“有效期”结束之后,将保持最后一次设定的队列规格。 实际CUs 队列扩容或缩容前的规格。