检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。 语法格式 1 2 3 4 5 6 7 create table dataGenSource(
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Flink1.15版本 已在作业中配
值有关,等待一段时间后,可以通过刷新“队列管理”页面,对比“规格”和“实际CUs”大小是否一致来判断是否扩容成功。或者在“作业管理”页面,查看“SCALE_QUEUE”类型SQL作业的状态,如果作业状态为“弹性扩缩容中”,表示队列正在扩容中。 操作步骤如下: 在DLI管理控制台左侧,选择“资源管理
赋权:当前用户可将弹性资源池的操作权限赋予其他用户。 回收:当前用户可回收其他用户具备的该弹性资源池的权限,但不能回收该弹性资源池所有者的权限。 查看其他用户具备的权限:当前用户可查看其他用户具备的该弹性资源池的权限。 为已有权限的用户赋予权限或回收权限。 在对应弹性资源池“权限信息”区域的用户列表中,选
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 create table jbdcSource ( attr_name attr_type (',' attr_name
dbproperties('name'='akku', 'id' ='9'); --通过describe schema|database 语句来查看刚创建的schema describe schema createtestwithlocation; 父主题: DDL 语法
使用下述命令在当前ecs集群中安装jdk1.8.0_232(其中<yourJdkPath>可以在jdk1.8.0_232文件夹下使用"pwd"查看): export JAVA_HOME=<yourJdkPath> export PATH=$JAVA_HOME/bin:$PATH export
分析窗口函数概览 DLI所支持的分析窗口函数如分析窗口函数介绍所示。 表1 分析窗口函数介绍 函数 命令格式 返回值 功能简介 cume_dist cume_dist() DOUBLE 用于求累计分布,相当于求分区中大于等于或小于等于当前行的数据在分区中的占比。 first_value
price *2, name = 'a2' where part0='xx' and id = 2; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Delta DML语法说明
-1L N 查找缓存的最大行数,超过此值,最旧的行将被删除。 如需启用缓存配置则“cache.max-rows”和“cache.ttl”选项都必须指定。 lookup.cache.ttl 10 s N 缓存生存时间。 lookup.max-retries 3 N 查找数据库失败时的最大重试次数。
Hudi数据表Clean规范 Clean也是Hudi表的维护操作之一,该操作对于MOR表和COW表都需要执行。Clean操作的目的是为了清理旧版本文件(Hudi不再使用的数据文件),这不但可以节省Hudi表List过程的时间,也可以缓解存储压力。 规则 Hudi表必须执行Clean。
} } 用户可按下述操作查看输出结果: 方法一:"更多" -> "FlinkUI" -> "Task Managers" -> "Stdout"。 方法二:若在提交运行作业前选择了保存日志,则可以从日志的taskmanager.out文件中查看。 +I(111,scooter
"op": "u", "ts_ms": 1589362330904, "transaction": null } 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名
"area_id":"330106"} 用户可按下述操作查看输出结果: 方法一:"更多" -> "FlinkUI" -> "Task Managers" -> "Stdout"。 方法二:若在提交运行作业前选择了保存日志,则可以从日志的taskmanager.out文件中查看。 +I(202103241000000001
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者
priv to province a.b.c 表示嵌套列全路径,嵌套列具体规则见ADD COLUMNS。 系统响应 通过运行DESCRIBE命令查看表列修改。 父主题: Schema演进语法说明
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 create table dwsSource
待删除定时扩缩计划的队列名称。名称长度为1~128个字符,多个队列名称使用逗号“,”分隔。 plan_id 是 Long 待删除的队列扩缩容计划的ID。具体获取请参考查看队列定时扩缩容计划(废弃)。 请求消息 无请求参数。 响应消息 表2 响应参数 参数 是否必选 参数类型 说明 is_success 否 Boolean
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 create table blackhole_table ( attr_name attr_type (',' attr_name