检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark SQL常用配置项说明 本章节为您介绍DLI 批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.shuffle
创建并提交SQL作业 场景描述 本章节指导用户通过API提交SQL作业创建数据库和表,并查询数据。 涉及接口 创建弹性资源池 创建队列 提交SQL作业(推荐) 操作步骤 创建弹性资源池elastic_pool_dli 接口相关信息 URI格式:POST /v3/{project_
cardinality(array[1,2,3,4,5,6]); --6 concat(array1, array2, ..., arrayN) 描述:此函数提供与sql标准连接运算符(||)相同的功能。 combinations(array(T), n) -> array(array(T)) 描述:返回输入数组的n个元素子组。
COLUMNS SHOW CREATE TABLE SHOW VIEWS SHOW CREATE VIEW 父主题: HetuEngine SQL语法
NULL; -- false IS DISTINCT FROM和IS NOT DISTINCT FROM 特有用法。在HetuEngine的SQL中,NULL代表未知值,所有与NULL有关的比较,产生的结果也是NULL。IS DISTINCT FROM和IS NOT DISTINCT
CREATE CATALOG语句 CREATE DATABASE语句 CREATE VIEW语句 CREATE FUNCTION语句 父主题: SQL语法约束与定义
MySQL CDC源表 功能描述 MySQL的CDC源表,即MySQL的流式源表,会先读取数据库的历史全量数据,并平滑切换到Binlog读取上,保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨
SPECIFIC_NAME, SQL, SQLEXCEPTION, SQLSTATE, SQLWARNING, SQL_TSI_DAY, SQL_TSI_FRAC_SECOND, SQL_TSI_HOUR, SQL_TSI_MICROSECOND, SQL_TSI_MINUTE, SQL_TSI_MONTH
参数模板:Default-MySQL-8.0 只读实例:暂不购买 单击“立即购买”,确认规格信息。 单击“提交”,完成RDS实例的创建。 登录MySQL,并使用下述命令在flink库下创建orders表。 登录MySQL,单击“SQL窗口”,在SQL查询页面输入以下创建表语句,创建RDS
登录DLI管理控制台。 单击“作业管理 > SQL作业”。 选择待配置的作业,单击操作列下的编辑。 在“ 设置 > 参数配置”中配置spark.sql.dli.job.priority参数。 图1 SQL作业配置样例 父主题: 使用DLI提交SQL作业
maxwell-json.timestamp-format.standard 否 'SQL' String 指定输入和输出时间戳格式。当前支持的值为“SQL”和“ISO-8601”: 'SQL'将以“yyyy-MM-dd HH:mm:ss.s{precision}”格式解析输入时间戳,例如'2020-12-30
TIMESTAMP_LTZ, INTERVAL, ARRAY, MULTISET, MAP, ROW, RAW 在SQL语法中这些类型用于定义表中列的数据类型。 父主题: SQL语法约束与定义
所有标准比较运算符和BETWEEN运算符都适用于DECIMAL类型。 一元decimal运算符 运算符“-”执行取负运算,结果的类型与参数的类型相同。 父主题: SQL函数和操作符
Kafka源表 功能描述 创建source流从Kafka获取数据,作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka是
SELECT regexp_split('1a 2b 14m','\s*[a-z]+\s*');-- [1, 2, 14, ] 父主题: SQL函数和操作符
语法定义 DDL语法定义 DML语法定义 父主题: SQL语法约束与定义
'two'])[k] || '_' || CAST(v AS VARCHAR)); -- {1=one_1.0, 2=two_1.4} 父主题: SQL函数和操作符
FORMATTED COLUMNS DESCRIBE DATABASE| SCHEMA EXPLAIN 父主题: HetuEngine SQL语法
数据类型 数据类型介绍 布尔类型 整数类型 固定精度型 浮点型 字符类型 时间和日期类型 复杂类型 父主题: HetuEngine SQL语法
canal-json.timestamp-format.standard 否 'SQL' String 指定输入和输出时间戳格式。当前支持的值是:'SQL'和'ISO-8601'。 选项 'SQL' 将解析 "yyyy-MM-dd HH:mm:ss.s{precision}" 格式的输入时间戳,例如