检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider not found at org.apache.hadoop.conf.Configuration
窗口聚合 窗口表值函数(TVF)聚合 窗口聚合是通过GROUP BY子句定义的，其特征是包含窗口表值函数产生的 “window_start” 和 “window_end” 列。和普通的 GROUP BY 子句一样，窗口聚合对于每个组会计算出一行数据。和其他连续表上的聚合不同，窗口
生成Flink SQL作业的静态流图 功能介绍 该API用于生成Flink SQL作业的静态流图。 Flink 1.15版本不支持生成静态流图。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v3/{project_id}/streamin
参考操作步骤说明，编写UDF函数代码。 2 编写UDF函数代码 3 调试，编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDF函数。
创建作业模板 功能介绍 该API用于创建作业模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v3/{project_id}/templates 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是
获取作业模板 功能介绍 该API用于获取作业模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v3/{project_id}/templates/{template_id} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述
开启和关闭多版本功能SQL语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 1 2 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES
在DLI控制台创建数据库和表 数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。 表是数据库最重要的组成部分之一。表是由行与列组合成的。每一列被当作是一个字段。每个字段中的值代表一种类型的数据。 数据库是一个框架，表是其实质内容。一个数据库包含一个或者多个表。
ckpoint恢复”。 checkpoint间隔设置需在输出文件实时性、文件大小和恢复时长之间进行权衡，比如10分钟。 使用HDFS时需要绑定相应的跨源，并填写相应的主机信息。 使用hdfs时，请配置主NameNode的所在节点信息。 参数说明 表1 参数说明 参数 是否必选 说明
从Kafka读取数据写入到RDS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为根据商品的实时点击量，获取每小时内点击量最高的3个商品及其相关信息。商品的实时点击量数据为输入源发送到Kafka中，再将Kafka数据的分析结果输出到RDS中。 例如，输入如下样例数据：
创建Hbase维表 功能描述 创建Hbase维表用于与输入流连接。 前提条件 该场景作业需要运行在DLI的独享队列上，因此要与HBase建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何
OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 数据类型的使用，请参考Format章节。 语法格式 1 2 3 4 5 6 7 create table dataGenSource(
从Kafka读取数据写入到Elasticsearch 本指导仅适用于Flink 1.12版本。 场景描述 本示例场景对用户购买商品的数据信息进行分析，将满足特定条件的数据结果进行汇总输出。购买商品数据信息为数据源发送到Kafka中，再将Kafka数据的分析结果输出到Elasticsearch中。
更新SQL模板 功能介绍 该接口用于更新SQL模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式： PUT /v1.0/{project_id}/sqls/{sql_id} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id
行作业。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource ( target
location:obs://bucket/user/hive/warehouse/show_schema.db/show_table1 InputFormat:org
时，在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Flink作业委托临时凭证 DLI提供了一个通用接口，可用于获取用户在启动F
修改弹性资源池信息 功能介绍 修改弹性资源池信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式 PUT /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name} 参数说明
OPTIONS：导出时的属性列表，为可选项。 参数 表1 INSERT OVERWRITE DIRECTORY参数描述 参数 描述 path 要将查询结果写入的OBS路径。 file_format 写入的文件格式，支持按CSV、Parquet、ORC、JSON、Avro格式。 file_format为c
数据库名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 regex_expression 数据库下的表名称。 注意事项 无。 示例 参考创建OBS表或者创建DLI表中的示例描述创建对应的表。 查看当前所在数据库中的所有表与视图。 1 SHOW TABLES; 查看testdb数据库下所有以test开头的表。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
