检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
unix_timestamp unix_timestamp函数用于将日期值转化为数字型的UNIX格式的日期值。 函数返回值将返回正常UNIX格式时间戳前十位。 命令格式 unix_timestamp(string timestamp, string pattern) 参数说明 表1
通过跨源表向CloudTable Hbase表导入数据，executor报错：RegionTooBusyException 问题现象 客户通过DLI跨源表向CloudTable Hbase导入数据，原始数据：HBASE表，一个列簇，一个rowkey运行一个亿的模拟数据，数据量为9
SDK获取与安装 Python SDK安装方式 本节操作介绍安装Python SDK的操作指导。 获取DLI SDK 在“DLI SDK DOWNLOAD”页面，单击选择所需的SDK链接，即可获取对应的SDK安装包。 “dli-sdk-python-x.x.x.zip”压缩包，解压后目录结构如下：
UNION 功能描述 UNION返回多个查询结果的并集。 语法格式 1 select_statement UNION [ALL] select_statement; 关键字 UNION：集合运算，以一定条件将表首尾相接，其中每一个SELECT语句返回的列数必须相同，列的类型和列名不一定要相同。
查询HBase表 SELECT命令用于查询hbase表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT：对查询结果进行限制，number参数仅支持INT类型。 注意事项 所查询的表必须是已经存在的表，否则会出错。
DWS源表 功能描述 DLI将Flink作业从数据仓库服务（DWS）中读取数据。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data
DWS源表 功能描述 DLI将Flink作业从数据仓库服务（DWS）中读取数据。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data
上传分组资源（废弃） 功能介绍 该API用于上传分组资源到某个project下。该API对应控制台的创建程序包功能。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v2.0/{project_id}/resources
列别名 功能描述 给列起别名。 语法格式 1 SELECT attr_expr [AS] alias, attr_expr [AS] alias, ... FROM table_reference; 关键字 alias：用于对attr_expr中的字段名称起别名。 AS：是否添加此关键字不会影响结果。
DWS源表（不推荐使用） 功能描述 DLI将Flink作业从数据仓库服务（DWS）中读取数据。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。
HAVING 功能描述 在HAVING子句中嵌套子查询，子查询结果将作为HAVING子句的一部分。 语法格式 1 2 3 SELECT [ALL | DISTINCT] attr_expr_list FROM table_reference GROUP BY groupby_expression
使用Temporal join关联维表的最新分区 功能描述 对于随时间变化的分区表，我们可以将其读取为无界流，如果每个分区包含某个版本的完整数据，则该分区可以被视为时间表的一个版本，时间表的版本保留了分区的数据。Flink支持在处理时间关联中自动跟踪时间表的最新分区（版本）。 最新分区（版本）由
为什么Spark3.x的作业日志中打印找不到global_temp数据库 问题描述 Spark3.x的作业日志中提示找不到global_temp数据库。 根因分析 global_temp数据库是Spark3.x默认内置的数据库，是Spark的全局临时视图。 通常在Spark作业执
DWS Connector概述 数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DLI将Flink作业从数据仓库服务（DWS）中读取数据。DWS数据库内核兼容PostgreSQ
从DLI导入数据到OBS，数据量不一致怎么办？ 问题现象 使用DLI插入数据到OBS临时表文件，数据量有差异。 根因分析 出现该问题可能原因如下： 作业执行过程中，读取数据量错误。 验证数据量的方式不正确。 通常在执行插入数据操作后，如需确认插入数据量是否正确，建议通过查询语句进行查询。
在Spark SQL作业中使用UDF 操作场景 DLI支持用户使用Hive UDF（User Defined Function，用户定义函数）进行数据查询等操作，UDF只对单行数据产生作用，适用于一进一出的场景。 约束限制 在DLI Console上执行UDF相关操作时，需要使用自建的SQL队列。
扫描量计费 按扫描量计费 按扫描量计费即：按运行查询作业扫描的数据量付费，如果扫描字节数量少于10M， 按10M计算。 且数据定义语言（DDL）语句（如 CREATE、ALTER、DROP TABLE等语句）、管理分区语句、失败的查询语句无需付费。 对于取消的查询，按取消查询时扫描的总数据量计费。
Delta清理和优化 清理Delta表 可以对 Delta 表运行 VACUUM 命令，以删除该表中不再引用且在保留期阈值之前创建的数据文件。 VACUUM delta_table0; VACUUM delta_table0 RETAIN 168 HOURS;--单位只支持HOURS
max_pt max_pt函数用于返回分区表的一级分区中有数据的分区的最大值，按字母排序，且读取该分区下对应的数据。 命令格式 max_pt(<table_full_name>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 table_full_name 是 STRING类型。
审计与日志 DLI对接云审计服务 云审计服务（Cloud Trace Service，CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DLI操作列表
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
