检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataSource和Hive两种语法创建OBS表的区别 DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异。两种语法创建OBS表主要差异点参见表1。 表1 DataSource语法和Hive语法创建OBS表的差异点 语法 支持的数据类型范围 创建分区表时分区字段差异
时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。 支持统计SQL作业的CPU消耗 支持在控制台查看“CPU累计使用量”。 支持容器集群Spark日志跳转查看 需要在容器查看日志。
DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表语法可以参考使用Hive语法创建OBS表。 示例 在DLI数据多版本中,查看表test_table多版本备份数据。 1 SHOW HISTORY FOR TABLE test_table; 在DLI数据多版本中,查看分区表test_table对应dt分区的多版本备份数据。
数据库名称支持正则表达式以读取多个数据库的数据,例如flink(.)*表示以flink开头的数据库名。 table-name 是 无 String 访问的表名。 表名支持正则表达式以读取多个表的数据,例如cdc_order(.)*表示以cdc_order开头的表名。 port 否
sum(expression) FROM table; 注意事项 所要分组的表必须是已经存在的表,否则会出错。 不同于ROLLUP,GROUPING SETS目前仅支持一种格式。 示例 根据group_id与job两个字段生成交叉表格行,返回每种聚合情况下的salary总和。 1 2 3 SELECT
LIMIT和FETCH FIRST都可以限制结果集中的行数。Limit和offset可以配合使用进行分页查询。 LIMIT LIMIT { count | ALL } 下面的查询限制返回的行数为5: SELECT * FROM fruit LIMIT 5; LIMIT ALL 与省略LIMIT的作用一样。
MING读取将持续监控表,并在新数据可用时以增量方式获取新数据。默认情况下,Flink会读取有界的表。 STREAMING读取支持同时使用分区表和非分区表。对于分区表,Flink将监控新分区的生成,并在可用时增量读取它们。对于未分区的表,Flink 会监控文件夹中新文件的生成情况,并增量读取新文件。
SET位置设置表的表或分区位置。 在Set location命令之后,表/分区数据可能不会显示。 Set location在创建表/分区目录时会使用给定目录路径,而不是hive在创建表/分区时创建的默认路径。 该语句不会对表或分区原有数据产生影响,也不会修改原有的表或分区目录,但
SQL作业相关问题 如何理解DLI分区表的列赋权? 如何避免字符码不一致导致的乱码? OBS表压缩率较高 更多 跨源连接相关问题 Flink作业如何进行性能调优? 更多 Spark作业相关问题 如何查看DLI Spark作业的实际资源使用情况 Spark队列操作OBS表如何设置AK/SK? 更多
删除增强型跨源连接的路由信息 操作场景 本节操作指导用户删除不再使用的路由信息。 约束限制 当自定义路由表被关联至子网时,则无法删除。 请先通过更换子网关联的路由表将子网关联到其他的路由表,然后尝试删除。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源
数据类型隐式转换 简介 隐式转换对照表
页面,查看“SCALE_QUEUE”类型SQL作业的状态,如果作业状态为“规格变更中”,表示队列正在扩容中。 操作步骤如下: 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择需要扩容的队列,单击“操作”列“更多”中的“规格变更”。 在“规格变更”页面,“变更方式”选择“扩容”,设置扩容的CU值。
继承权限可作用到当前数据库及其所有的表上,但是表中的列只能继承其中的查询权限。 以下权限同时适用于“用户授权”和“项目授权”。 删除表:删除数据库下的表。 查询表:在当前表内查询。 显示表信息:显示当前表的信息。 插入:在当前表内插入数据。 添加列:在当前表中增加列。 重写:在当前表内插入覆盖数据。
什么是DLI分区表的列赋权? 用户无法对分区表的分区列进行权限操作。 当用户对分区表的任意一列非分区列有权限,则默认对分区列有权限。 当查看用户在分区表上的权限的时候,不会显示对分区列有权限。 父主题: DLI权限管理类
的方式打通与目的数据源的vpc网络,通过点对点的方式实现数据互通。 图1 增强型跨源连接配置流程 配置DLI队列与公网网络连通 通过配置SNAT规则,添加到公网的路由信息,可以实现队列到和公网的网络打通。 图2 配置DLI队列访问公网流程 父主题: 增强型跨源连接类
15相关依赖包信息: 查看Flink日志。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击作业名称,选择“运行日志”。 控制台只展示最新的运行日志,更多日志信息请查看保存日志的OBS桶。 在日志中搜索依赖包信息。 在日志中搜索“Classpath:”即可查看相关依赖包信息。
配置PowerBI通过Kyuubi连接DLI进行数据查询和分析 Power BI提供了数据集成、数据仓库、报告和数据可视化等功能,能够将复杂的数据转换为易于理解和交互的可视化图表和仪表板,从而帮助企业做出基于数据的决策。 Kyuubi是一个分布式SQL查询引擎,它允许用户通过标准的SQL接口来访问和分析数据。
显示创建表语句:显示当前表的创建语句。 显示表信息:显示当前表的信息。 查询表:在当前表内查询数据。 删除表:删除当前表。 重命名表:对当前表重新命名。 插入:在当前表内插入数据。 重写:在当前表内插入覆盖数据。 添加列:在当前表中增加列。 赋权:当前用户可将表的权限赋予其他用户或项目。
配置Fine BI通过Kyuubi连接DLI进行数据查询和分析 Fine BI是一款智能可视化工具,专注于数据分析和可视化。它支持连接多种数据源,能够将复杂的数据转换为直观的图表和仪表板,快速获得数据洞察。 Kyuubi是一个分布式 SQL 查询引擎,它提供了标准的SQL接口,使用户能够方
预览SQL作业查询结果 功能介绍 该API用于在执行SQL查询语句的作业完成后,查看该作业执行的结果。目前仅支持查看“QUERY”类型作业的执行结果。 该API只能查看前1000条的结果记录,且不支持分页查询。若要查看全部的结果记录,需要先导出查询结果再进行查看,详细请参见导出查询结果。