-
trans - 数据湖探索 DLI
num_keys 是 BIGINT类型。 BIGINT类型常量,值必须>=0。在转为多行时作为转置key的列的个数。 separator 是 STRING类型。 STRING类型常量,用于将字符串拆分成多个元素的分隔符。为空时返回报错。 keys 是 STRING类型。 转置时作为key的列,
-
trans - 数据湖探索 DLI
num_keys 是 BIGINT类型。 BIGINT类型常量,值必须>=0。在转为多行时作为转置key的列的个数。 separator 是 STRING类型。 STRING类型常量,用于将字符串拆分成多个元素的分隔符。为空时返回报错。 keys 是 STRING类型。 转置时作为key的列,
-
使用Hive语法创建DLI表 - 数据湖探索 DLI
TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED BY char] [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY
-
地理函数 - 数据湖探索 DLI
供了坐标系转换的一系列函数,并且还提供地理距离与米之间的转换函数。详见表4。 表4 地理坐标系转换函数与距离单位转换函数表 函数 返回值 说明 WGS84_TO_BD09(geometry) 对应的百度地图坐标系地理空间几何元素 将GPS坐标系下的地理空间几何元素转换成百度地图坐
-
UNION - 数据湖探索 DLI
UNION 功能描述 UNION返回多个查询结果的并集。 语法格式 1 select_statement UNION [ALL] select_statement; 关键字 UNION:集合运算,以一定条件将表首尾相接,其中每一个SELECT语句返回的列数必须相同,列的类型和列名不一定要相同。
-
Hive结果表 - 数据湖探索 DLI
[FIELDS TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED BY char] [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
-
UNION - 数据湖探索 DLI
UNION 功能描述 UNION返回多个查询结果的并集。 语法格式 1 select_statement UNION [ALL] select_statement; 关键字 UNION:集合运算,以一定条件将表首尾相接,其中每一个SELECT语句返回的列数必须相同,列的类型和列名不一定要相同。
-
清理多版本数据 - 数据湖探索 DLI
多版本数据保留周期是在表每次执行insert overwrite或者truncate语句时触发,所以当表的多版本数据在保留周期时间外但是后续该表不会再执行insert overwrite或者truncate语句时,多版本保留周期外的数据不会自动清理。可以通过本章节介绍的SQL命令手动进行多版本数据清理。
-
删除数据库和表 - 数据湖探索 DLI
删除数据库和表 根据实际使用情况,您可以通过删除数据库和表。 注意事项 具有正在运行中的作业的数据库或者表不能删除。 管理员用户、数据库的所有者和具有删除数据库权限的用户可以删除数据库。管理员用户、表的所有者和具有删除表权限的用户可以删除表。 数据库和表删除后,将不可恢复,请谨慎操作。
-
使用Hive语法创建DLI表 - 数据湖探索 DLI
TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED BY char] [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY
-
队列弹性扩缩容 - 数据湖探索 DLI
示例:队列大小为48CUs,执行作业占用了18CUs,剩余30CUs不满足该32CUs步长缩容的要求,如果执行缩容任务,则缩容失败。 弹性扩容 当前队列规格不满足业务需要时,可以通过手动变更队列规格来扩容当前队列。 扩容属于耗时操作,在DLI“弹性扩缩容”页面执行扩容操作后,需要等待大
-
创建Spark作业 - 数据湖探索 DLI
计算资源规格:具体参数请参考表4。 Spark资源并行度由Executor数量和Executor CPU核数共同决定。 任务可并行执行的最大Task数量=Executor个数 * Executor CPU核数。 您可以根据购买的队列资源合理规划计算资源规格。 需要注意的是,Spark任务执行需要driver、e
-
操作Flink作业 - 数据湖探索 DLI
批量启动作业 勾选多个作业,单击作业列表左上方的“启动”,可以启动多个作业。 单击“启动”后,跳转至“作业配置清单”页面。 在“作业配置清单”页面,确认作业信息及价格,如果无误,单击“立即启动”。 作业启动后,可在对应作业的“状态”列中查看运行成功或失败。 停止作业 当用户不需要运行某个作业
-
查询增强型跨源连接列表 - 数据湖探索 DLI
响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 connections 否 Array of Objects 跨源连接信息列表,详细信息请参考表4。
-
使用Spark SQL作业分析OBS数据 - 数据湖探索 DLI
DELIMITED FIELDS TERMINATED BY ',' COLLECTION ITEMS TERMINATED BY '-' MAP KEYS TERMINATED BY ':'; ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' :表示每条记录通过'
-
concat - 数据湖探索 DLI
concat函数用于拼接数组或字符串。 命令格式 输入为ARRAY数组:将多个ARRAY数组中的所有元素连接在一起,生成一个新的ARRAY数组。 concat(array<T> <a>, array<T> <b>[,...]) 输入为字符串:将多个字符串连接在一起,生成一个新的字符串。 concat(string
-
从MySQL CDC源表读取数据写入到DWS - 数据湖探索 DLI
参考使用gsql命令行客户端连接DWS集群连接已创建的DWS集群。 执行以下命令连接DWS集群的默认数据库“testdwsdb”: gsql -d testdwsdb -h DWS集群连接地址 -U dbadmin -p 8000 -W password -r 执行以下命令,查询DWS的表数据。
-
Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误 - 数据湖探索 DLI
有大量的空闲连接。 解决方案 出现该问题时建议通过以下操作步骤解决。 登录DWS命令执行窗口,执行以下SQL命令,临时将所有non-active的连接释放掉。 SELECT PG_TERMINATE_BACKEND(pid) from pg_stat_activity WHERE
-
创建中间流 - 数据湖探索 DLI
创建中间流 功能描述 中间流用来简化sql逻辑,若sql逻辑比较复杂,可以写多个sql语句,用中间流进行串接。中间流仅为逻辑意义上的流,不会产生数据存储。 语法格式 1 CREATE TEMP STREAM stream_id (attr_name attr_type (',' attr_name
-
从DLI导入数据到OBS,为什么数据量出现差异? - 数据湖探索 DLI
使用DLI插入数据到OBS临时表文件,数据量有差异。 根因分析 出现该问题可能原因如下: 作业执行过程中,读取数据量错误。 验证数据量的方式不正确。 通常在执行插入数据操作后,如需确认插入数据量是否正确,建议通过查询语句进行查询。 如果OBS对存入的文件数量有要求,可以在插入语句后加入“DISTRIBUTE