检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。 如何创建DW
参考增强型跨源连接，在DLI上根据DWS和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。 设置DWS和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据DWS和Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。
DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch 引擎的索引中。 Elasticsearch是基于Lucene的当前流行的企业级搜索服务器，具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等。能为用户提供实时搜索、稳定可靠的服务。适用于日志分析、站内搜索等场景。
default 是 常量，默认值为NULL。 当offset指定的范围越界时的缺省值，需要与expr对应的数据类型相同。如果expr非常量，则基于当前行进行求值。 partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 返回DOUBLE类型的值。 a为NULL，则返回NULL。 示例代码 为便于理解函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。
描述 模板的相关描述，且长度为0～512个字符。 创建时间 创建模板的时间。 更新时间 最后修改模板的时间。 操作 “编辑”：对已经创建好的模板进行修改。 “创建作业”：直接在该模板下创建作业，创建完后，系统跳转到“作业管理”下的作业编辑页面。 更多： “删除”：将已经创建的模板删除。
供用户调用的方法，DLI只对这些方法的兼容性做出产品保证。 图4 配置参数 表3 参数说明 名称 描述 CU数量 一个CU为1核4G的资源量。CU数量范围为2~400个。 管理单元 设置管理单元的CU数，支持设置1~4个CU，默认值为1个CU。 并行数 作业中每个算子的最大并行数。
DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器，具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等。能为用户提供实时搜索、稳定可靠的服务。适用于日志分析、站内搜索等场景。
数据的读写操作。 您可以通过自定义函数（UDF）的方式使用DWS自研的DWS Connector。自定义函数操作请参考自定义函数。 DWS-Connector的使用方法请参考dws-connector-flink。 （废弃，不推荐使用）DLI服务的DWS Connector：支持
数据库名为ClickHouse集群创建的数据库名称。 connector.table 是 要创建的ClickHouse的表名。 connector.driver 否 连接数据库所需要的驱动。 如果建表时不指定该参数，驱动会自动通过ClickHouse的url提取。 如果建表时指定该参数，则该参数值固定为“ru
'330110'); 参考增强型跨源连接，根据DWS所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置DWS的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据DWS的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。
Spark作业在执行shuffle类语句，包括group by、join等场景时，常常会出现数据倾斜的问题，导致作业任务执行缓慢。 该问题可以通过设置spark.sql.shuffle.partitions提高shuffle read task的并行度来进行解决。 设置spark.sql.shuffle.partitions参数提高并行度
expr 是 待计算返回结果的表达式。 ignore_nulls 否 BOOLEAN类型，表示是否忽略NULL值。默认值为False。 当参数的值为True时，返回窗口中第一条非NULL的值。 partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause
default 是 常量，默认值为NULL。 当offset指定的范围越界时的缺省值，需要与expr对应的数据类型相同。如果expr非常量，则基于当前行进行求值。 partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否
SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据，如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。 开源生态 通过对等连接建立与其他VPC的网络连接后，用户可以在DLI的租户独享集群中访问所有Flink和Spark支持的数据源与输出源，
OpenTSDB是基于HBase分布式的 ，可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息，并可实现数据的秒级查询，解决海量监控类数据在普通数据库中查询存储的局限性，可用于系统监控和测量、物联网数据、金融数据和科学实验结果数据的收集监控。 DL
Power BI提供了数据集成、数据仓库、报告和数据可视化等功能，能够将复杂的数据转换为易于理解和交互的可视化图表和仪表板，从而帮助企业做出基于数据的决策。 Kyuubi是一个分布式SQL查询引擎，它允许用户通过标准的SQL接口来访问和分析数据。 将Power BI与Kyuubi对接，通
key-column作为redis的key。redis的hash类型，每个key对应一个hashmap，hashmap的hashkey为源表的字段名，hashvalue为源表的字段值。 connector.key-column 否 table存储模式下可配置，将该字段值作为redis中的ext-key
和Kafka集群所在的虚拟私有云和子网分别创建跨源连接，并绑定所要使用的Flink弹性资源池。 设置ClickHouse和Kafka集群安全组的入向规则，使其对当前将要使用的Flink作业队列网段放通。参考测试地址连通性根据ClickHouse和Kafka的地址测试队列连通性。如
BI工具是数据分析的强大助手，提供数据可视化、报表生成和仪表板创建等功能。 DLI服务通过对数据的融合分析处理，可以为BI工具提供标准的、有效的高质量数据，供给后续的数据统计分析使用。 通过连接到DLI，BI工具可以更加灵活的使用DLI访问和分析数据，帮助企业快速做出基于数据的决策。 DLI为BI工具提供了便捷的连接方法：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
