检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
class-name' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 只能为user-defined,表示使用自定义的sink。 connector.class-name 是 sink函数的全限定类名。sink类的具体实现可以参考前提条件说明。 connector
Hudi支持跨分区进行数据更新,但Global索引性能较差一般不建议使用。 建议 事实表采用日期分区表,维度表采用非分区或者大颗粒度的日期分区 是否采用分区表要根据表的总数据量、增量和使用方式来决定。从表的使用属性看事实表和维度表具有的特点: 事实表:数据总量大,增量大,数据读取多以日期做切分,读取一定时间段的数据。
业,单击“创建告警规则”。创建警告规则具体步骤请参考《创建告警规则》。 DLI 为Flink作业提供了丰富的监控指标,用户可以依据自身需求使用不同的监控指标定义告警规则,实现更细粒度的作业监控。 监控指标说明请参考《数据湖探索用户指南》>《数据湖探索监控指标说明》。 父主题: Flink
删除视图orders_by_date,如果视图不存在则会报错 DROP VIEW orders_by_date; 删除视图orders_by_date,使用参数IF EXISTS,如果视图存在则删除视图,如果视图不存在,也不会报错 DROP VIEW IF EXISTS orders_by_date;
缺点:该索引为Flink特有索引。在表的总数据行数达到数亿级别,需要优化状态后端参数来保持写入的性能。使用该索引无法支持Flink和Spark交叉混写。 对于数据总量持续上涨的表,采用Bucket索引时,须使用时间分区,分区键采用数据创建时间。 参照Flink状态索引的特点,Hudi表超过一定数
QUEUE”类型SQL作业的状态,如果作业状态为“规格变更中”,表示队列正在缩容中。 系统不保证完全缩容到设定的目标大小。如果当前队列正在使用或者队列业务量比较大,会出现缩容不成功,或者缩容一部分规格的情况。 系统默认最小CU值为16CU。即当队列规格为16CUs时,不能进行手动缩容。
enterprise_project_id 否 String 企业ID,不填默认为“0”。 tags 否 Array of Objects 队列的标签,使用标签标识云资源。包括“标签键”和“标签值”,具体请参考表3。 label 否 map 弹性资源池属性字段。 如果需要购买基础版,配置该参数值为{"spec":"basic"}。
授权DLI读写OBS的权限并不包含在的DLI委托dli_management_agency中。需要您创建自定义委托,并将委托配置在作业中(使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时需要配置)。 了解dli_management_agency请参考DLI委托概述。
字段生成值。例如,如果表中有一个名为id的自增主键字段,您可以在插入数据时不包含这个字段,数据库会自动为新插入的行分配一个唯一的id值。 使用NULL值:如果您需要在插入数据时明确指定某些字段由数据库自动填充,可以在这些字段的位置填写NULL。这样,数据库会识别到这些字段应该由系统自动生成值,而不是由用户指定。
BY仅用于指定MAP类型中的key与vaule之间的分隔符号,仅支持CHAR类型。 LINES TERMINATED BY指定行与行之间的分割符,目前只支持“\n”。 使用NULL DEFINED AS子句可以指定NULL的格式。 SERDE serde_name [WITH SERDEPROPERTIES
队列资源扩容时,可能会由于物理资源不足导致队列资源无法扩容到设定的目标大小。 队列资源缩容时,系统不保证将队列资源完全缩容到设定的目标大小。通常队列资源缩容时,系统会先检查资源使用情况,判断是否存在缩容空间,如果现有资源无法按照最小缩容步长执行缩容任务,则队列可能缩容不成功,或缩容一部分规格的情况。 因资源规格不同可
connector.lookup.cache.max-rows 否 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。-1表示不使用缓存。 connector.lookup.cache.ttl 否 维表配置,缓存超时时间,超过该时间的数据会被剔除。格式为:{length
STRING或DATE dateadd函数用于按照指定的单位datepart和幅度delta修改date的值。 date:必填。日期值,string类型。 使用的时间格式为yyyy-mm-dd hh:mi:ss,例如2021-08-28 00:00:00。 delta:必填。修改幅度,BIGINT类型。
创建MRS的ClickHouse集群,集群版本选择MRS 3.1.0,且勿开启kerberos认证。 Flink SQL语句中不能定义主键。同时不能使用任何产生主键的语法,例如insert into clickhouseSink select id, cout(*) from sourceName
检查VPC网络是否设置了ACL规则限制了网络访问 检查是否在域名或者IP后添加了端口 测试连通性时需要添加端口号。 例如,测试队列与指定RDS实例连通性,本例RDS实例使用3306端口。 测试连通性如下所示。 图1 测试地址连通性 检查是否连接的是对端VPC和子网 创建增强型跨源连接时需要填写对端的VPC和子网。
String 系统提示信息,执行成功时,信息可能为空。 job_id 否 String 提交请求成功时,生成并提交一个新的作业,返回作业ID。用户可以使用作业ID来查询作业状态和获取作业结果。 status 是 String 作业状态。状态可能为运行中(RUNNING)、规格变更中(SCAL
当前状态名称。参数说明可以参考查询作业详情中status作业状态字段说明。 status_desc 否 String 当前状态描述。包含异常状态原因及建议。 请求示例 使用ID为100000的模板创建名为myjob的Flink SQL作业,该作业执行在testQueue队列上以独享的模式运行。 { "name":
com/path1/p.php?k1=v1&k2=v2#Ref1', 'HOST') 返回 'facebook.com'.。 当第二个参数为QUERY时,可以使用第三个参数提取特定参数的值,例如: parse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1'
Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致? 问题描述 Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为不一致 根因分析 该问题的根因是数据库设置的时区不合理,通常该问题出现时F
将OBS数据导入至DLI 本节操作介绍将OBS上的数据导入到DLI控制台的表中。 注意事项 导入数据时只能指定一个路径,路径中不能包含逗号。 如果将CSV格式数据导入分区表,需在数据源中将分区列放在最后一列。 不建议对同一张表并发导入数据,因为有一定概率发生并发冲突,导致导入失败。