检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建路由(废弃) 功能介绍 该API用于创建跨源需要的路由。 当前接口已废弃,不推荐使用。推荐使用创建路由。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v2.0/{project_id}/datasource/enhanced-con
在DLI使用Delta提交Spark Jar作业 1. 添加如下依赖 <dependency> <groupId>io.delta</groupId> <artifactId>delta-core_2.12</artifactId> <version>2.3
属性访问函数 函数说明 表1 属性访问函数说明 值接入函数 函数说明 tableName.compositeType.field 选择单个字段,通过名称访问Apache Flink复合类型(如Tuple,POJO等)的字段并返回其值。 tableName.compositeType
表值函数 split_cursor string_split 父主题: 内置函数
属性访问函数 函数说明 表1 属性访问函数说明 值接入函数 函数说明 tableName.compositeType.field 选择单个字段,通过名称访问Apache Flink复合类型(如Tuple,POJO等)的字段并返回其值。 tableName.compositeType
表值函数 string_split 父主题: 内置函数
队列属性设置 操作场景 DLI支持在队列创建完成后设置队列的属性。 当前支持设置: 队列的Spark driver的相关参数:通过设置队列的Spark driver,以提升队列资源的调度效率。 作业结果保存策略:设置是否开启队列的作业查询结果保存至DLI作业桶。 本节操作介绍在管理控制台设置队列属性的操作步骤。
Flink 1.15 Jar 读取用户自定义配置文件的方式相比Flink 1.12存在差异。详细操作说明请参考使用Flink Jar写入数据到OBS开发指南。 Flink 1.15 Jar 程序,采用反向类加载机制(child-first),可通过优化参数设置某些依赖包由父类加载器加载:parent
ADD COLUMNS 功能开启 配置参数: hoodie.schema.evolution.enable=true 命令功能 ADD COLUMNS命令用于为现有表添加新列。 命令语法 ALTER TABLE tableName ADD COLUMNS(col_spec[, col_spec
count函数如何进行聚合 使用count函数进行聚合的正确用法如下: SELECT http_method, count(http_method) FROM apigateway WHERE service_id = 'ecs' Group BY http_method
Flink作业委托场景开发指导 Flink Opensource SQL使用DEW管理访问凭据 Flink Jar 使用DEW获取访问凭证读写OBS 获取Flink作业委托临时凭证用于访问其他云服务 父主题: Flink作业开发指南
SQL语法约束与定义 语法支持类型 语法定义 父主题: Flink Opensource SQL1.12语法参考
DDL语法定义 CREATE TABLE语句 CREATE CATALOG语句 CREATE DATABASE语句 CREATE VIEW语句 CREATE FUNCTION语句 父主题: SQL语法约束与定义
fault”,“数据库”选择“default”,单击“执行”。 SQL作业编辑窗口下方“查看结果”页签查看查询结果。 本示例使用系统预置的“default”队列和数据库进行演示,也可以在自建的队列和数据库下执行。 创建队列请参考创建队列。创建数据库请参考创建数据库。 后续指引 完
查看队列定时扩缩容计划(废弃) 功能介绍 该API用于查看队列定时扩缩容计划,列出指定队列定时规格变更计划。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1/{project_id}/queues/{queue_name}/plans
语法定义 DDL语法定义 DML语法定义 父主题: SQL语法约束与定义
Flink OpenSource SQL1.15语法概览 本章节介绍目前DLI所提供的Flink OpenSource SQL1.15语法列表。参数说明,示例等详细信息请参考具体的语法说明。 创建表相关语法 表1 创建表相关语法 语法分类 功能描述 Format Avro Canal
弹性资源池的实际CUs、CU范围、规格的含义 实际CUs:弹性资源池当前分配的可用CUs。 实际CUs的计算公式: 实际CUs=min{sum(队列maxCU),弹性资源池maxCU}。 计算结果需满足为16CUs的倍数,如果不能整除16CUs则向上取整。 实际CUs的分配示例:
最后一个ddl语句执行时间,(单位:秒(s))。 num_rows 否 Long 该分区数据总行数。 num_files 否 Long 分区文件数。 total_size 否 Long 该分区总的数据大小(单位:字节)。 请求示例 无 响应示例 { "is_success":
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Flink1.15版本