检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink JobManager提示 "Timeout expired while fetching topic metadata" ,说明Flink作业在尝试获取Kafka主题的元数据时超时了。
DLI跨源连接报错找不到子网怎么办? 问题现象 跨源连接创建对等连接失败,报错信息如下: Failed to get subnet 2c2bd2ed-7296-4c64-9b60-ca25b5eee8fe. Response code : 404, message : {"code
DLI使用SMN主题,提示SMN主题不存在,怎么处理? 设置DLI Flink作业的运行参数时,勾选“作业异常告警”参数,可在作业出现运行异常或者欠费情况时,将作业异常告警信息,以SMN的方式通知用户。 如果遇到提示SMN主题不存在您可以按照以下步骤进行排查: 确认SMN主题是否已经创建
split_cursor split_cursor表值函数可以将一行转多行,一列转为多列,仅支持在JOIN LATERAL TABLE中使用。 表1 split_cursor表值函数表 函数 返回值类型 描述 split_cursor(value, delimiter) cursor
对象存储OBS 对象存储OBS源表 对象存储OBS结果表 父主题: Connector列表
int), cast(case_string_to_timestamp as timestamp), cast(case_timestamp_to_date as date) from kafkaSource; 连接Kafka集群,向Kafka的topic中发送如下测试数据
怎样查看DLI的执行SQL记录? 场景概述 执行SQL作业过程中需要查看对应的记录。 操作步骤 登录DLI管理控制台。 在左侧导航栏单击“作业管理”>“SQL作业”进入SQL作业管理页面。 输入作业ID或者执行的语句可以筛选所要查看的作业。 父主题: SQL作业开发类
ALTER COLUMN 功能开启 配置参数: hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... ALTER COLUMN语法用于修改当前列属性包括列类型、列位置、列comment。 命令语法 ALTER TABLE
配置DLI程序包权限 针对不同用户,可以通过权限设置分配不同的程序包组或程序包,不同用户之间的作业效率互不影响,保障作业性能。 管理员用户、程序包组拥有程序包组的所有权限。不需要进行权限设置,且其他用户无法修改其程序包组权限。 管理员用户、程序包的所有者拥有程序包的所有权限。不需要进行权限设置
示例 通过DataGen源表产生数据,BlackHole结果表接收传来的数据。
0.021847965885988363 select random();-- 0.5894438037549372 random(n) → [same as input] 返回介于0和n(不包括n)之间的伪随机数 select random(5);-- 2 random(n)包含数据类型
SQL作业访问报错:DLI.0003: AccessControlException XXX 问题现象 SQL作业访问报错:DLI.0003: AccessControlException XXX。 解决措施 请检查OBS桶权限,确保账号有权限访问报错信息中提到的OBS桶。 如果没有
swq,1997-04-25,test,[ly, zpk, swq, zjy],zjy,[f11,111, f12,222],111,13:13:13,1997-04-25T14:14:14,{flink=123},123,{inner_map={key=234}},234) 各数据类型获取元素的方法
默认是INMEMORY index.bootstrap.enabled 否 true Boolean Flink默认采用的是内存索引(使用Bueckt索引时不配置该项),需要将数据的主键缓存到内存中,保证目标表的数据唯一,因此需要配置该值,否则会导致数据重复,默认值:true。
初始化DLI客户端 使用DLI Python SDK工具访问DLI,需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端,示例代码如下。完整样例代码和依赖包说明请参考:Python
在DLI使用Delta提交Spark Jar作业 1. 添加如下依赖 <dependency> <groupId>io.delta</groupId> <artifactId>delta-core_2.12</artifactId> <version>2.3.0
Map函数和运算符 下表操作符: [] 描述:[]运算符用于从映射中检索与给定键对应的值。 select age_map['li'] from (values (map(array['li','wang'],array[15,27]))) as table_age(age_map)
值构建函数 函数说明 表1 值构建函数说明 值构建函数 函数说明 ROW(value1, [, value2]*) (value1, [, value2]*) 根据一系列值创建ROW ARRAY ‘[’ value1 [, value2 ]* ‘]’ 根据一系列值创建数组 MAP
属性访问函数 函数说明 表1 属性访问函数说明 值接入函数 函数说明 tableName.compositeType.field 选择单个字段,通过名称访问Apache Flink复合类型(如Tuple,POJO等)的字段并返回其值。 tableName.compositeType
表值函数 split_cursor string_split 父主题: 内置函数