检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
[db_name.]table_name; 参数描述 表1 DROP TABLE参数描述 参数 描述 db_name Database名称。如果未指定,将选择当前database。 table_name 需要删除的Table名称。 注意事项 在该命令中,IF EXISTS和db_name是可选配置。
None 服务介绍 数据湖探索 DLI 介绍什么是数据湖探索 02:47 数据湖探索DLI产品介绍 功能介绍 数据湖探索 DLI 熟悉数据湖探索控制台 03:10 数据湖探索控制台介绍 操作指导 数据湖探索 DLI 介绍怎样创建提交SQL作业 07:36 数据湖探索SQL作业入门指导
OR REPLACE:指定该关键字后,若视图已经存在将不报错,并根据select语句更新视图的定义。 注意事项 所要创建的视图必须是当前数据库下不存在的,否则会报错。当视图存在时,可通过增加OR REPLACE关键字来避免报错。 视图中包含的表或视图信息不可被更改,如有更改可能会造成查询失败。
创建一张Hudi表: 将如下的建表语句粘贴至DLI SQL编辑器的输入区域,修改 LOCATION,执行引擎选择Spark,配置队列,数据目录,数据库,随后点击右上角的执行按钮,提交作业。 注意:由DLI提供元数据服务时,暂不支持创建Hudi内表,即必须配置 LOCATION 指向 OBS
指定数据库: “表结构模式”可填写需访问的数据库名称,如果填写,后续创建数据集时,刷新表,页面上只可见该数据库下的表。如果不填写,后续创建数据集时,刷新表,页面上会显示所有数据库下的表。 其他选项不需要填写,也无需勾选“需要登录”选项。 图1 添加数据源配置 表2 数据库连接参数
创建弹性资源池并添加队列 弹性资源池为DLI作业运行提供所需的计算资源(CPU和内存),用于灵活应对业务对计算资源变化的需求。 创建弹性资源池后,您可以在弹性资源池中创建多个队列,队列关联到具体的作业和数据处理任务,是资源池中资源被实际使用和分配的基本单元,即队列是执行作业所需的具体的计算资源。
删除队列 根据实际使用情况,您可以通过删除操作释放队列。 如果待删除的队列中有正在提交或正在运行的作业,将不支持删除操作。 删除队列不会导致您数据库中的表数据丢失。 删除队列步骤 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择待删除的队列,单击“操作”列的“删除”删除。
弹性资源池计费 弹性资源池计费模式 弹性资源池为DLI作业运行提供计算资源。弹性资源池支持三种计费模式: 包年包月:是预付费模式,按订单的购买周期计费。拥有专属的计算资源,空闲(无作业运行)时不会释放,使用体验更佳,价格比按需计费模式更优惠。 适用于可预估资源使用周期的场景,例如
使用Spark作业访问sftp中的文件,作业运行失败,日志显示访问目录异常 执行作业的用户数据库和表权限不足导致作业运行失败 为什么Spark3.x的作业日志中打印找不到global_temp数据库 在使用Spark2.3.x访问元数据时,DataSource语法创建avro类型的OBS表创建失败
Kafka开启SASL认证。 MRS Kafka开启SSL认证。 Password DWS、RDS、CSS、Redis - 维表 Kerberos HBase MRS安全集群已开启Kerberos认证。 Password DWS、RDS、Redis - 父主题: 使用DLI的跨源认证管理数据源访问凭证
Hudi数据表Archive规范 Archive(归档)是为了减轻Hudi读写元数据的压力,所有的元数据都存放在这个路径:Hudi表根目录/.hoodie目录,如果.hoodie目录下的文件数量超过10000就会发现Hudi表有非常明显的读写时延。 规则 Hudi表必须执行Archive。
GRANT_PRIVILEGE 数据库的赋权 √ × √ √ REVOKE_PRIVILEGE 数据库权限的回收 √ × √ √ SHOW_PRIVILEGES 查看其他用户具备的数据库权限 √ × √ √ DISPLAY_ALL_TABLES 显示数据库中的表 √ √ √ √ DISPLAY_DATABASE
增强型跨源连接ID:在DLI管理控制台的“增强型跨源连接”列表页获取“连接ID”即为增强型跨源连接ID。 数据库ID:添加标签时候传入的数据库ID即数据库名。您可以在DLI控制台的“库表管理”页面查看数据库名称。 Flink作业ID:在DLI管理控制台的“Flink作业”列表页面单击Flink作
DLI弹性资源池与队列简介 DLI的计算资源是执行作业的基础,本节内容介绍DLI计算资源的模式和队列类型。 什么是弹性资源池和队列? 在了解DLI计算资源模式前首先了解弹性资源池和队列的基本概念。 弹性资源池是DLI计算资源的一种池化管理模式,可以看做DLI计算资源的集合。DLI
LECT 示例 给用户user_name1授予数据库db1的删除数据库权限。 1 GRANT DROP_DATABASE ON databases.db1 TO USER user_name1; 给用户user_name1授予数据库db1的表tb1的SELECT权限。 1 GRANT
怎样配置DLI队列与数据源的网络连通? 配置DLI队列与内网数据源的网络连通 DLI在创建运行作业需要连接外部其他数据源,如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。 DLI提供的增强型跨源连接功能,底层采用对等连接的方式打通与目的数
测试DLI队列与数据源的连通性 获取数据源的私有内网IP和端口。 以RDS数据源为例:在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“内网地址”,即可获取RDS内网地址。查看“连接信息”>“数据库端口”,获取RDS数据库实例端口。 在DLI管理控制台,单击“资源管理 > 队列管理”。
Already too many clients, active/non-active/reserved: 5/508/3 原因分析 当前访问的DWS数据库连接已经超过了最大连接数。错误信息中,non-active的个数表示空闲连接数,例如,non-active为508,说明当前有大量的空闲连接。
DLI SQL队列对接DLI元数据方法: 在DLI管理控制台的SQL编辑器页面的“数据目录”中选择“dli”。 在“数据库”选项中选择要对接的DLI元数据中的数据库,即可对接到DLI元数据。 DLI通用队列对接DLI元数据方法: 请参考使用Spark作业访问DLI元数据。 DLI
描述 是否必填 table 需要查询表的表名,支持database.tablename格式 是 log_file_path_pattern log file的路径,支持正则匹配 否 merge 执行show_logfile_records时,通过merge控制是否将多个log file中的record合并在一起返回