检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置DBT连接DLI进行数据调度和分析 DBT（Data Build Tool），是一款开源的数据建模和转换工具，运行在Python环境上。DBT连接DLI，用来定义和执行SQL转换，支持从数据集成、转换到分析的整个数据生命周期管理，适用于大规模数据分析项目和复杂的数据分析场景。 本节操作介绍DBT连接DLI的操作步骤。
某公司用户A申请了256CUs的弹性资源池，并将1TB数据存放在DLI表中。该公司想要了解采用哪种计费模式才是性价比最优的方式。 数据湖探索服务目前支持三种作业：SQL作业，Flink作业和Spark作业。SQL作业的计费包括存储计费和计算计费，Flink作业和Spark作业的计费只有计算计费。 示例价格
UNION、INTERSECT和EXCEPT都是集合操作。都用来将多个SELECT语句的结果集合并成单个结果集。 UNION UNION将第一个查询的结果集中的所有行与第二个查询的结果集中的行合并。 query UNION [ALL | DISTINCT] query ALL和DISTINCT表示是否返
无请求参数。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 resources 否 Array of Objects 已上传的用户资源名列表, 资源详情请参见表4。 modules 否 Array of Objects 系统内置资源模块列表，模块详情请参考表5。 groups
older_than：指定清理多版本数据的时间范围。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 table_name 表名称。 时间戳 删除该时间戳时间点之前的多版本数据。时间格式需要为yyyy-MM-dd
1 DROP VIEW [IF EXISTS] [db_name.]view_name; 关键字 DROP：删除指定视图的元数据。虽然视图和表有很多共同之处，但是DROP TABLE不能用来删除VIEW。 注意事项 所要删除的视图必须是已经存在的，否则会出错，可以通过IF EXISTS来避免该错误。
描述：返回字符串的UTF-16BE编码的十六进制表示形式。 index(string, substring) 描述：同strpos() 函数。 日期函数 本节中的函数使用与Teradata datetime函数兼容的格式字符串。下表基于Teradata参考手册，描述了受支持的格式说明符。
Avro格式允许基于Avro schema 读取和写入Avro 数据。目前，Avro schema 从表schema 推导。 更多具体使用可参考开源社区文档：Avro Format。 支持的Connector Kafka Upsert Kafka FileSystem 参数说明 表1 参数说明 参数 是否必选
compress=SNAPPY 来允许spappy压缩。 数据类型映射 Orc 格式类型的映射和 Apache Hive 是兼容的。下面的表格列出了 Flink 类型的数据和 Orc 类型的数据的映射关系。 表2 数据类型映射 Flink数据类型 Orc物理类型 Orc逻辑类型 CHAR bytes
BY子句所指定列中值的返回值，但以介于0和1之间的小数形式表示，计算方法为 (分组内当前行的RANK值-1)/(分组内总行数-1)。 使用限制 窗口函数的使用限制如下： 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。
执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 connections 否 Array of Objects 跨源连接信息列表，详细信息请参考表3。 count 否 Integer 跨源连接数量。 表3 connections参数
topic 列表，如 'topic-1;topic-2'。 对 source 表而言，'topic' 和 'topic-pattern' 两个选项只能使用其中一个。 当表被用作 sink 时，该配置表示写入的 topic 名。注意 sink 表不支持 topic 列表。 topic-pattern
启动该Flink作业怎样从指定Checkpoint恢复。 解决方案 由于Flink Checkpoint和Savepoint生成机制及格式一致，因此可以通过Flink作业列表“操作”列中的“更多 > 导入保存点”，导入OBS中最新成功的Checkpoint，并从中恢复。 登录DLI管理控制台，选择“作业管理
nname=ap-southeast-2;enginetype=trino;catalog=lfcatgalog 详细参数说明请参考表3和表4。 表3 驱动连接配置信息参数说明 参数 说明 获取方式 endPoint 地区与终端节点，即云服务在不同Region有不同的访问域名。 获取EndPoint
使用filter关键字可以在聚合的过程中，通过使用where的条件表达式来过滤掉不需要的行。所有的聚合函数都支持这个功能。 aggregate_function(...) FILTER (WHERE <condition>) 示例： --建表 create table fruit (name varchar
队列相关 约束限制 当前使用SDK创建的作业不支持在default队列上运行。 查询所有队列 DLI提供查询队列列表接口，您可以使用该接口并选择相应的队列来执行作业。示例代码如下： 1 2 3 4 5 6 7 8 9 def list_all_queues(dli_client):
Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 队列权限相关操作步骤 在DLI管理控制台的左侧，选择“资源管理 > 队列管理”。 选择待设置的队列，单击其“操作”列中的“权限管理”。“用户权限信息”区域展示了当前具备此队列权限的用户列表。 常
qdigest([same as x]) 描述：返回由x的所有输入值（使用每项权重w和最大误差accuracy）组成的qdigest。accuracy必须是一个大于0且小于1的值，并且对于所有输入行是一个常量。 父主题： SQL函数和操作符
窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式 row_number() over([partition_clause] [orderby_clause]) 参数说明 表1 参数说明 参数 是否必选 说明 partition_clause
使用示例 UDTF支持CROSS JOIN和LEFT JOIN，在使用UDTF时需要带上 LATERAL 和TABLE 两个关键字。 CROSS JOIN：对于左表的每一行数据，假设UDTF不产生输出，则这一行不进行输出。 LEFT JOIN：对于左表的每一行数据，假设UDTF不产生输出
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
