检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<table2>; 父主题: Hudi数据表管理操作规范
父主题: SQL函数和操作符
父主题: Hudi数据表管理操作规范
通常,窗口 Top-N 直接用于窗口表值函数(Windowing TVFs)窗口 Top-N 可以用于基于窗口表值函数(Windowing TVFs)的操作之上,比如窗口聚合,窗口Top-N和 窗口关联。 窗口 Top-N 的语法和普通的 Top-N 相同。
SQL作业中存在join操作,因为自动广播导致内存不足,作业一直运行中 问题现象 SQL作业中存在join操作,作业提交后状态一直是运行中,没有结果返回。 问题根因 Spark SQL作业存在join小表操作时,会触发自动广播所有executor,使得join快速完成。
本节操作介绍DBT连接DLI的操作步骤。 操作前准备 环境要求 确保您的系统环境满足以下要求。 操作系统:Windows 或 Linux DBT是一个基于Python的工具,请确保已安装了Python。
原因分析 客户作业存在并发操作,同时对一张表执行两个insert overwrite操作。
问题根因 删除表后再重建同名的表,该场景下表权限不会自动继承,需要重新对需要操作该该表的用户或项目进行赋权操作。 解决方案 表删除再创建后,需要重新对需要操作该表的用户或项目进行赋权操作。具体操作如下: 在管理控制台左侧,单击“数据管理”>“库表管理”。
本节操作介绍在DLI管理控制台创建Flink Jar作业的操作步骤。
对两个表进行join操作时,提示:SQL_ANALYSIS_ERROR: Reference 't.id' is ambiguous, could be: t.id, t.id.; 出现这个提示,表示进行join操作的两个表中包含相同的字段,但是在执行命令时,没有指定该字段的归属。
本节操作介绍怎样查看Flink作业相关信息。 表1 查看Flink作业相关信息 类型 说明 操作指导 Flink作业基本信息 包括Flink作业的ID、作业类型、作业执行状态等信息。
问题现象 在“作业管理 > Flink作业”,对应作业“操作”列,选择“更多 > 权限管理”,对新用户进行授权操作时提示“No such user. userName:xxxx.”错误。 解决方案 以上问题可能是由于系统未能识别新用户信息。
在SQL作业页面,在对应作业的“操作”列,单击“更多 > 归档日志”。 图1 归档日志 在OBS目录下,获取归档日志文件夹,详细如下。
COMPACTION 命令功能 对Hudi表进行compaction操作,具体作用可以参考Hudi Compaction操作说明章节。
bulk_insert:该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表,该操作性能是最高的,但是无法控制小文件,而upsert和insert操作可以很好的控制小文件。 upsert: 默认操作类型。
Doris Connector概述 Flink Doris Connector 可以支持通过 Flink 操作(读取、插入、修改、删除) Doris 中存储的数据。 只能对Unique Key模型的表进行修改和删除操作。
在控制台操作表权限时: 如果“用户授权”赋予表的权限与继承权限相同,系统会提示已有该权限无需重复操作。 通过“项目授权”赋予的权限与继承权限相同时,系统不再向您提醒重复的权限信息。 父主题: DLI权限管理类
在对应作业的“操作”栏中选择“更多”>“权限管理”。 图1 Flink作业权限管理 在“授权”页面输入需要授权的用户名,勾选需要的权限。确认后,被授权用户就可以查看该作业,并且执行对应操作。
本节操作介绍创建自定义委托,完成服务授权,并在作业配置中添加新建的委托信息的操作步骤。
使用Flink Jar读写DIS开发指南 概述 本节操作介绍基于Flink 1.12版本的Flink Jar作业读写DIS数据的操作方法。