检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该作业脚本将Kafka为数据源,Redis作为维表,数据写入到Kafka结果表中。 如下脚本中的加粗参数请根据实际环境修改。
DLI datasource v1表(以下简称V1表):DLI的Datasource表格式,建表/插入/truncate命令使用DLI自定义的command,表的数据路径为$tablepath/UUID/数据文件。
详细操作说明请参考使用Flink Jar写入数据到OBS开发指南。
示例 通过DataGen源表产生数据,BlackHole结果表接收传来的数据。
null' AS VARCHAR); -- NULL json_parse(string) → json 和json_format(json)功能相反,将json格式的字符串转换为json Json_parse和json_extract通常结合使用,用于解析数据表中的
0.021847965885988363 select random();-- 0.5894438037549372 random(n) → [same as input] 返回介于0和n(不包括n)之间的伪随机数 select random(5);-- 2 random(n)包含数据类型
Flink JobManager提示 "Timeout expired while fetching topic metadata" ,说明Flink作业在尝试获取Kafka主题的元数据时超时了。
解决方案 请参考《数据湖探索用户指南》中的数据库权限管理章节授予用户创建表的权限。 父主题: DLI权限管理类
DLI使用SMN主题,提示SMN主题不存在,怎么处理? 设置DLI Flink作业的运行参数时,勾选“作业异常告警”参数,可在作业出现运行异常或者欠费情况时,将作业异常告警信息,以SMN的方式通知用户。 如果遇到提示SMN主题不存在您可以按照以下步骤进行排查: 确认SMN主题是否已经创建
split_cursor split_cursor表值函数可以将一行转多行,一列转为多列,仅支持在JOIN LATERAL TABLE中使用。 表1 split_cursor表值函数表 函数 返回值类型 描述 split_cursor(value, delimiter) cursor
对象存储OBS 对象存储OBS源表 对象存储OBS结果表 父主题: Connector列表
start和stop的数据类型还可以是date或者timstamp类型,按1天递增或递减。
如需使用DLI增强型跨源,DLI队列网段与数据源网段不能重合。
swq,1997-04-25,test,[ly, zpk, swq, zjy],zjy,[f11,111, f12,222],111,13:13:13,1997-04-25T14:14:14,{flink=123},123,{inner_map={key=234}},234) 各数据类型获取元素的方法
您可以进入“数据管理 > 库表管理”查找对应库表,查看权限管理,是否配置该账号的查询权限。 授权方式请参考资料表权限管理。 父主题: DLI权限管理类
默认是INMEMORY index.bootstrap.enabled 否 true Boolean Flink默认采用的是内存索引(使用Bueckt索引时不配置该项),需要将数据的主键缓存到内存中,保证目标表的数据唯一,因此需要配置该值,否则会导致数据重复,默认值:true。
初始化DLI客户端 使用DLI Python SDK工具访问DLI,需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端,示例代码如下。完整样例代码和依赖包说明请参考:Python
批量删除队列定时扩缩容计划(废弃) 功能介绍 该API用于批量删除队列定时扩缩容计划。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1/{project_id}/queues/{queue_name}/plans
单个删除队列定时扩缩容计划(废弃) 功能介绍 该API用于删除指定ID的队列定时扩缩容计划。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v1/{project_id}/queues/{queue_name
为什么SQL作业一直处于“提交中”? SQL作业一直在提交中,有以下几种可能: 刚购买DLI队列后,第一次进行SQL作业的提交。需要等待5~10分钟,待后台拉起集群后,即可提交成功。 若刚刚对队列进行网段修改,立即进行SQL作业的提交。需要等待5~10分钟,待后台重建集群后,即可提交功