检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
项目编号,用于资源隔离。获取方式请参考获取项目ID。 sql_id 是 String SQL模板ID。 请求参数 表2 请求参数说明 名称 是否必选 参数类型 说明 sql 否 String 更新后SQL模板文本。 sql_name 否 String 更新后SQL模板名称,该名称在当前工程下必须唯一。
使用SQL作业模板开发并提交SQL作业 为了便捷快速地执行SQL操作,DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后,不需编写SQL语句,可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPC-H查询语句模板,您可以按需选择自定义模板或系统模板创建SQL作业。
性的列名。 cache_max_num 否 表示最大缓存的查询结果数,默认值为32768。 cache_time 否 表示数据库查询结果在内存中缓存的最大时间。单位为毫秒,默认值为10000,当值为0时表示不缓存。 注意事项 不支持Redis集群。 请务必确保您的账户下已在分布式
MRS Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。MRS基于Apache
示执行失败的原因。 sql_id String 新增SQL模板的ID。 group String SQL模板分组名称。 请求示例 创建一个SQL模板。 { "sql": "select * from t1", "sql_name": "sql1", "description":
udaf_test(attr2) FROM source_stream GROUP BY attr1; 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
批作业SQL常用配置项说明 本章节为您介绍DLI 批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.shuffle
DWS输出流(通过JDBC方式) 功能描述 DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。
Integer 模板ID。 如果“template_id”和“sql_body”都不为空,优先选择“sql_body”的内容;如果“template_id”不为空,“sql_body”为空,选择“template_id”的内容填充“sql_body”。 queue_name 否 String
创建认证信息-Password 步骤6:提交SQL作业 本节示例以SQL作业为例说明如何跨源访问RDS表。 在DLI管理控制台的左侧导航栏中,单击“SQL编辑器”,进入SQL作业编辑器页面。 在“SQL编辑器”页面右侧的编辑窗口中,输入如下SQL语句创建数据库db1,单击“执行”。 create
在“SQL模板”页面,勾选相应的模板,单击“操作”列的“执行”,将跳转至“SQL编辑器”页面,并在SQL作业编辑窗口中自动输入对应的SQL语句。 在SQL作业编辑窗口右上方,单击“执行”运行SQL语句,执行结束后,可以在SQL作业编辑窗口下方区域中查看执行结果。 查找SQL作业模板
能。DLI支持的SQL语法可以参考创建DLI表。 可以本地连接DLI吗?支持远程工具连接吗? 暂不支持。请在控制台提交作业。 详细操作请参考数据湖探索快速入门。 DLI SQL作业超过12h会被kill掉吗? 默认情况下,为了保障队列的稳定运行,超过12h的SQL作业会被系统按超时取消处理。
Spark SQL常用配置项说明 本章节为您介绍DLI 批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.shuffle
SQL作业相关 数据库相关 表相关 作业相关 父主题: Java SDK
具体操作步骤如下: 导出查询结果的操作入口有两个,分别在“SQL作业”和“SQL编辑器”页面。 在“作业管理”>“SQL作业”页面,可单击对应作业“操作”列“更多 > 导出结果”,可导出执行查询后的结果。 在“SQL编辑器”页面,查询语句执行成功后,在“查看结果”页签右侧,单击“导出结果”,可导出执行查询后的结果。
Int SQL模板总数。 sqls Array of Object SQL模板信息,具体参数说明请参见表4。 表4 sqls参数说明 名称 参数类型 说明 sql_id String SQL模板ID。 sql_name String SQL模板名称。 sql String SQL模板文本。
SQL作业类 SQL作业开发类 SQL作业运维类
编辑OpenSource SQL作业。 在SQL语句编辑区域,输入详细的SQL语句。相关SQL语句请参考《数据湖探索Flink OpenSource SQL语法参考》。 单击“语义校验”,确保语义校验成功。 只有语义校验成功后,才可以执行“启动”作业的操作。 如果校验成功,提示“SQL语义校验成功”。
SQL作业相关 数据库相关 表相关 作业相关 父主题: Python SDK
server disconnected before a response was received. 问题原因 由于CPU使用率过高,导致网络闪断。 解决方案 在SQL语句中配置发送失败重试:connector.properties.retries=5 create table kafka_sink(