检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL语法约束与定义 语法支持类型 语法定义 父主题: Flink Opensource SQL1.10语法参考
ath => 'obs://path/hudi_table/dt=2021-08-28'); 注意事项 使用由DLI提供的元数据服务时,不支持本命令。 权限需求 由DLI提供的元数据服务 SQL权限: database table 无 SELECT 细粒度权限:dli:table:select
Flink作业推荐配置指导 用户在创建Flink作业时,可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。 图1 创建主题 图2
参数描述 表1 参数描述 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 obs_path Obs路径,表示Delta表的存储位置。 timestamp_expression
配置项为OPTIONS('DELIMITER'=',')时,可以指定分隔符,默认值为“,”。 对于CSV数据,支持如下所述分隔符: 制表符tab,例如:'DELIMITER'='\t'。 支持通过unicode编码指定分割符,例如:'DELIMITER'='\u0001'。 单引号('),单引号必须在双引号("
true, "message": "Deleted" } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: 增强型跨源连接相关API(废弃)
内置函数 数学运算函数 字符串函数 时间函数 条件函数 类型转换函数 集合函数 值构建函数 属性访问函数 Hash函数 聚合函数 表值函数 父主题: 函数
LIMIT | FETCH FIRST LIMIT和FETCH FIRST都可以限制结果集中的行数。Limit和offset可以配合使用进行分页查询。 LIMIT LIMIT { count | ALL } 下面的查询限制返回的行数为5: SELECT * FROM fruit LIMIT
结果表统计用户在30秒内的订单数量,并根据窗口的订单id和窗口开启时间作为主键,将结果实时统计到JDBC中: 根据MySQL和kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据MySQL和kafka
则将会为每个分区创建一个目录。 WITH OPTIONS 表属性用于创建 table source/sink ,一般用于寻找和创建底层的连接器。 表达式 key1=val1 的键和值必须为字符串文本常量。 注意: 表名可以为以下三种格式 1. catalog_name.db_name.table_name
在DLI控制台预览表数据 “预览页面”将显示对应表的前10条数据。 预览数据步骤 预览数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需导出数据对应数据库名称,进入该数据库“表管理”页面。
SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 样例代码 用户可以使用OBS授权操作的接口,将OBS桶的操作权限授权给DLI, 用于保存用户作业的数据和作业的运行日志等。 示例代码如下: 1 2 3 4 5 6 7 private static void
触发Flink作业保存点 功能介绍 触发Flink作业保存点。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1.0/{project_id}/str
提交SQL作业的URI为:POST /v1.0/{project_id}/jobs/submit-job 其“Content-Type”只支持“application/json”,若设置为“text”则会报错,报错信息为“unsupported media Type”。 父主题:
执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 创建路由,自定义增强型跨源连接的下一跳的路由信息为127.0.0.0。 { "name": "route", "cidr": "127.0.0.0" } 响应示例
建议排查代码,确认是否有内存泄漏。 图2 Full GC 处理步骤 如果频繁Full GC, 建议排查代码,是否有内存泄漏。 增加单TM所占的资源。 联系技术支持,修改集群心跳配置参数。 父主题: Flink作业性能调优类
导入Flink作业保存点 功能介绍 导入Flink作业保存点。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1.0/{project_id}/str
Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 columnTypeList 以逗号分隔的带数据类型的列表。列名由字母、数字和下划线(_)组成。 using 参数hudi,定义和创建Hudi table。
在调用接口的时候,部分URL中需要填入账号ID(domain-id),所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下: 登录管理控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面查看账号ID。 图1 获取账号ID 父主题: 公共参数
extends RichSinkFunction< Tuple2<Boolean, Row>>{},需重点实现其中的open、invoke和close函数。代码参考示例如下: public class MySink extends RichSinkFunction<Tuple2<Boolean