检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL语法约束与定义 语法支持类型 语法定义 父主题: Flink Opensource SQL1.12语法参考
DDL语法定义 CREATE TABLE语句 CREATE VIEW语句 CREATE FUNCTION语句 父主题: 语法定义
创建维表 DWS维表 Hbase维表 JDBC维表 Redis维表 父主题: 数据定义语句DDL
集合函数 函数说明 表1 集合函数说明 集合函数 函数说明 CARDINALITY(array) 返回数组中元素个数 array ‘[’ integer ‘]’ 返回数组索引为integer的元素。索引从1开始 ELEMENT(array) 返回数组中的唯一元素。 若数组为空,则返回null
权限管理 权限管理概述 DLI自定义策略 DLI资源 DLI请求条件 常用操作与系统权限关系
创建弹性资源池和队列 DLI弹性资源池与队列简介 创建弹性资源池并添加队列 管理弹性资源池 管理队列 典型场景示例:创建弹性资源池并运行作业 典型场景示例:配置弹性资源池队列扩缩容策略 创建非弹性资源池队列(废弃,不推荐使用)
在DLI控制台管理表资源 在DLI控制台配置表权限 在DLI控制台删除表 在DLI控制台修改表所有者 将OBS数据导入至DLI 导出DLI表数据至OBS中 在DLI控制台预览表数据 父主题: 创建数据库和表
弹性资源池标签管理 标签管理 标签是用户自定义的、用于标识云资源的键值对,它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 如果用户在其他云服务中使用了标签,建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 DLI支持以下两类标签: 资源标签:在DLI中创建的非全局的标签。
窗口去重 功能描述 窗口去重是一种特殊的去重,它根据指定的多个列来删除重复的行,保留每个窗口和分区键的第一个或最后一个数据。 对于流式查询,与普通去重不同,窗口去重只在窗口的最后返回结果数据,不会产生中间结果。它会清除不需要的中间状态。 因此,窗口去重查询在用户不需要更新结果时,
在DataArts Studio上运行DLI SQL脚本,执行结果报org.apache.hadoop.fs.obs.OBSIOException错误 问题现象 在DataArts Studio上运行DLI SQL脚本,执行结果的运行日志显示语句执行失败,错误信息为: DLI.0999:
SQL作业运行慢如何定位 作业运行慢可以通过以下步骤进行排查处理。 可能原因1:FullGC原因导致作业运行慢 判断当前作业运行慢是否是FullGC导致: 登录DLI控制台,单击“作业管理 > SQL作业”。 在SQL作业页面,在对应作业的“操作”列,单击“更多 > 归档日志”。
更新模板 功能介绍 该API用于对DLI服务中已有的模板进行更新。 调试 您可以在API Explorer中调试该接口。 URI URI格式 PUT /v1.0/{project_id}/streaming/job-templates/{template_id} 参数说明 表1 URI参数说明
新建模板 功能介绍 该API在DLI服务中新建一个用户模板,最多100个。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/job-templates 参数说明 表1 URI参数说明 参数名称
身份认证与访问控制 身份认证 用户访问DLI的方式主要有两种,包括DLI Console界面、DLI Open API等,其本质都是通过DLI提供的REST API接口进行请求。 DLI的接口均需要通过认证鉴权才能访问,控制台发送的请求与调用API接口的请求均支持Token认证鉴权。
怎样获取DLI作业样例(Demo) 为了方便用户更好地使用DLI,DLI服务提供了供作业开发的Demo样例,您可以通过DLI样例代码获取。 该样例代码的目录内容介绍如下: dli-flink-demo:开发Flink作业时的样例代码参考。例如,样例代码实现读取Kafka源表数据写
怎样升级DLI作业的引擎版本 DLI提供了Spark和Flink计算引擎,为用户提供了一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,当前,Flink计算引擎推荐版本:Flink 1.15,Spark计算引擎推荐版本: Spark 3.3.1。 本节操作介绍如何升级作业的引擎版本。
深度学习模型预测 深度学习已经广泛应用于图像分类、图像识别和语音识别等不同领域,DLI服务中提供了若干函数实现加载深度学习模型并进行预测的能力。 目前可支持的模型包括DeepLearning4j 模型和Keras模型。由于Keras它能够以 TensorFlow、CNTK或者 Theano
创建DLI表关联DDS 功能描述 使用CREATE TABLE命令创建DLI表并关联DDS上已有的collection。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件
怎样将老版本的Spark队列切换成通用型队列 当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中,“SQL队列”用于运行SQL作业,“通用队列”兼容老版本的Spark队列,用于运行Spark作业和Flink作业。 通过以下步骤,可以将老版本的“Spark队列”转换为新的“通用队列”。
创建DLI表关联DDS 功能描述 使用CREATE TABLE命令创建DLI表并关联DDS上已有的collection。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件