检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
[PARTITION (partcol1=val1, partcol2=val2 ...)]; 关键字 表1 关键字说明 参数 描述 tablename 需要执行Truncate命令的DLI表或者OBS表的名称。 partcol1 需要删除的DLI表或者OBS表的分区名称。 注意事项 只支持清除DLI表或者OBS表的数据。
percentile percentlie函数用于返回数值区域的百分比数值点。 命令格式 percentile(BIGINT col, p) 参数说明 表1 参数说明 参数 是否必选 说明 col 是 数据类型为数值的列。其他类型返回NULL。 p 是 0<=P<=1,否则返回NULL。
Flink OpenSource SQL1.10语法概览 本章节介绍目前DLI所提供的Flink OpenSource SQL语法列表。参数说明,示例等详细信息请参考具体的语法说明。 创建源表相关语法 表1 创建源表相关语法 语法分类 功能描述 创建源表 Kafka源表 DIS源表
count count函数用于返回记录条数。 命令格式 count([distinct|all] <colname>) 参数说明 表1 参数说明 参数 是否必选 说明 distinct或all 否 表示在计数时是否去除重复记录,默认为all,即计算全部记录。 如果指定distinct,则只计算唯一值数量。
VALUES values_row [, values_row ...]; 关键字 SELECT对应关键字说明请参考基本语句。 参数说明 表1 参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2
except DliException as e: print(e) return 请求参数说明如下,详细参数使用可以参考Python SDK概述下载样例代码。 kind:资源包类型,当前支持的包类型分别为: jar:用户jar文件 pyfile:用户Python文件
Flink OpenSource SQL1.12语法概览 本章节介绍目前DLI所提供的Flink OpenSource SQL1.12语法列表。参数说明,示例等详细信息请参考具体的语法说明。 创建表相关语法 表1 创建表相关语法 语法分类 功能描述 创建源表 DataGen源表 DWS源表
Flink OpenSource SQL1.15语法概览 本章节介绍目前DLI所提供的Flink OpenSource SQL1.15语法列表。参数说明,示例等详细信息请参考具体的语法说明。 创建表相关语法 表1 创建表相关语法 语法分类 功能描述 Format Avro Canal Confluent
'', 'driver' = '', 'username' = '', 'password' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector 是 数据源类型,固定为:jdbc。 url 是 数据库的URL。 table-name 是
DLI使用SMN主题,提示SMN主题不存在,怎么处理? 设置DLI Flink作业的运行参数时,勾选“作业异常告警”参数,可在作业出现运行异常或者欠费情况时,将作业异常告警信息,以SMN的方式通知用户。 如果遇到提示SMN主题不存在您可以按照以下步骤进行排查: 确认SMN主题是否已经创建。
sum sum函数用于计算求和。 命令格式 sum(col), sum(DISTINCT col) 参数说明 表1 参数说明 参数 是否必选 说明 col 是 列值支持所有数据类型,可以转换为DOUBLE类型后参与运算。 列值可以为DOUBLE、DECIMAL或BIGINT类型。
max max函数用于返回最大值。 命令格式 max(col) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 col 是 除BOOLEAN外的任意类型。 列值可以为除BOOLEAN外的任意类型。 返回值说明 返回DOUBLE类型的值。 返回值的类型与col类型相同。返回规则如下:
'obs://*** ', 'format' = 'parquet', 'source.monitor-interval'='' ); 参数说明 目录监控 默认情况下,文件系统连接器是有界的,也就是只会扫描配置路径一遍后就会停止。 如果需要,可以通过设置 source.monitor-interval
=CACHE_TIME spark.dli.job.agency.name=USER_AGENCY_NAME 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 spark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.access
by一起使用。 命令格式 trans_array (<num_keys>, <separator>, <key1>,<key2>,…,<col1>,<col2>,<col3>) as (<key1>,<key2>,...,<col1>, <col2>) 参数说明 表1 参数说明 参数 是否必选
击链接确认订阅即可。 图1 创建主题 图2 添加订阅 登录DLI控制台,创建Flink作业,编写作业SQL后,配置“运行参数”。本例对重点参数加以说明,其他参数根据业务情况自行配置即可。 Flink Jar作业可靠性配置与SQL作业相同,不再另行说明。 根据如下公式,配置作业的“
avg avg函数用于计算求平均值。 命令格式 avg(col), avg(DISTINCT col) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 col 是 所有数据类型 列值支持所有数据类型,可以转换为DOUBLE类型后参与运算。 返回值说明 返回DOUBLE类型的值。
在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。 在“购买弹性资源池”界面,填写具体的弹性资源池参数。 本例在华东-上海二区域购买按需计费的弹性资源池。相关参数说明如表3所示。 表3 参数说明 参数名称 参数说明 配置样例 计费模式 选择弹性资源池计费模式。 按需计费 区域 选择弹性资源池所在区域。
second=CACHE_TIME flink.dli.job.agency.name=USER_AGENCY_NAME 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 flink.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.access
timestamp=>'[timestamp]'); 参数描述 表1 参数描述 参数 描述 是否必填 op 生成compaction计划(op指定为“schedule”),或者执行已经生成的compaction计划(op指定为“run”) 是 table 需要查询表的表名,支持database