检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
archive.automatic=true hoodie.keep.max.commits=30 // 默认值为30,根据业务场景指定 hoodie.keep.min.commits=20 // 默认值为20,根据业务场景指定 SparkDataSource(option里设置如下参数,写数据时触发)
上第n行(可选,默认为1),第三个参数为默认值(当往上第n行为NULL时候,取默认值,如不指定,则为NULL)。 lead lead (col,n,DEFAULT) 参数的数据类型 用于统计窗口内往下第n行值。第一个参数为列名,第二个参数为往下第n行(可选,默认为1),第三个参数
示例说明:创建一个名为student的分区表,该分区表使用院系编号(facultyNo)和班级编号(classNo)进行分区,该student表会同时按照不同的院系编号(facultyNo)和不同的班级编号(classNo)分区。 在实际的使用过程中,您可以选择合适的分区字段并将其添加到PARTITIONED BY关键字后。
parent 否 /hbase String Zookeeper中的根目录,默认是/hbase。 null-string-literal 否 null String 当字符串值为null时的存储形式,默认存成 "null" 字符串。 HBase sink的编解码将所有数据类型(除
设置实例为默认实例 查看实例“基本信息”中“是否为默认实例”的参数值。 “true”表示当前实例为默认实例。 “false”表示当前实例不为默认实例。 如果需要设置当前实例为默认实例,请单击页面右上角“设为默认实例”。 勾选操作影响后单击“确定”,将当前实例设置为默认实例。 当前
varchar 描述:参见Format。 locate(string substr, string str, int pos]) →int 描述:返回子串在字符串的第pos位后第一次出现的位置。没有满足条件的返回0。 select locate('aaa','bbaaaaa',6);-- 0
retained=10 // 默认值为10,根据业务场景指定 SparkDataSource(option里设置如下参数,写数据时触发) hoodie.clean.automatic=true hoodie.cleaner.commits.retained=10 // 默认值为10,根据业务场景指定
详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 create table hbaseSource ( attr_name attr_type
ol_name" : "elastic_pool_dli", "description" : "test", "cidr_in_vpc" : "172.16.0.0/14", "charging_mode" : "1", "max_cu" : 64, "min_cu"
edge_node:边缘节点。 默认值为“shared_cluster”。 cu_number 否 Integer 用户为作业选择的CU数量。默认值为“2”。 parallel_number 否 Integer 用户设置的作业并行数目。默认值为“1”。 checkpoint_enabled
实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。
3 支持计算队列定时扩缩容 DLI提供了队列规格变更定时任务功能。用户可以根据自己的业务周期或者使用情况,基于现有队列规格,在不同的时间或者周期内设置不同的队列大小,以满足自己的业务需求,节约成本。 商用 定时扩容/缩容 2020年6月 序号 功能名称 功能描述 阶段 相关文档 1
支持Flink作业速率、输入输出数据量、作业算子反压值、算子延迟、作业cpu和内存使用率查看。 仅支持Flink UI 多版本支持 支持不同作业使用不同Flink版本 单Flink集群仅支持单版本下的作业开发 易用性 即开即用,Serverless架构,跨AZ容灾能力。 用户仅编写SQL代码,无需编译,只需关心业务代码。
实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。
BUCKET。默认是INMEMORY index.bootstrap.enabled 否 true Boolean Flink默认采用的是内存索引(使用Bueckt索引时不配置该项),需要将数据的主键缓存到内存中,保证目标表的数据唯一,因此需要配置该值,否则会导致数据重复,默认值:true。
用户为作业选择的管理单元(jobmanager)CU数量,默认值为“1”。 tm_cus 否 Integer 每个taskmanager的CU数,默认值为“1”。 tm_slot_num 否 Integer 每个taskmanager的slot数,默认值为“(parallel_number*tm
//使用deleteQueue()方法删除queueName队列 queue.deleteQueue(); } 获取默认队列 DLI提供查询默认队列的接口,您可以使用默认队列提交作业。示例代码如下: 1 2 3 4 5 private static void getDefaultQueue(DLIClient
表结构中用来配置消息键(Key)格式数据类型的字段列表。 默认情况下该列表为空,因此消息键没有定义。 列表格式为 'field1;field2'。 key.fields-prefix 否 无 String 为所有消息键(Key)格式字段指定自定义前缀,以避免与消息体(Value)格式字段重名。默认情况下前缀为空。 如果定义了前缀,表结构和配置项
compact.only.inline=false hoodie.compact.inline.max.delta.commits=5 // 默认值为5,根据业务场景指定 随后执行任意写入SQL时,在满足条件后(同一个file slice下存在5个 delta log文件),会触发compaction。
弹性资源池对接Prometheus实例后,当前弹性资源池下所有新提交运行的Flink 1.15作业指标都会上报到绑定的Prometheus。默认只上报基础指标,基础指标AOM Prometheus不收取费用。如需上报所有指标请参考DLI对接AOM Prometheus监控的配置项章节的metrics