检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过不同的接口与Kyuubi进行交互。 是 mysql thrift_binary kyuubi.engine.dli.schema.show.name 用于指定当用户执行show schemas或show databases语句时,Kyuubi引擎如何展示数据源接口的模式名称。
通过不同的接口与Kyuubi进行交互。 是 mysql thrift_binary kyuubi.engine.dli.schema.show.name 用于指定当用户执行show schemas或show databases语句时,Kyuubi引擎如何展示数据源接口的模式名称。
使用CES监控DLI服务 功能说明 本章节定义了数据湖探索服务上报云监控的监控指标的命名空间,监控指标列表和维度定义,用户可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标 指标ID 指标名称
分区,适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left join操作,并且表有大量的动态分区时,这可能会导致在数据解析时消耗大量的内存资源,导致Driver节点的内存不足,并触发频繁的Full GC。 在这种情况下,可以配置该参数为false即禁用动态分区
json_path) 表2 参数说明 参数 数据类型 说明 json_string STRING 需要解析的JSON对象,使用字符串表示。 json_path STRING 解析JSON的路径表达式,使用字符串表示。 目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式
IP Address函数 contains(network, address) → boolean 当CIDR网络中包含address时返回true。 SELECT contains('10.0.0.0/8', IPADDRESS '10.255.255.255'); -- true
目录结构 名称 说明 dli python环境的DLI SDK基础模块。 examples python样例代码。 pyDLI pyHive的实现接口。 setup.py Python SDK安装脚本。 安装DLI Python SDK 下载并解压SDK安装包。 将"dli-sdk-python-<version>
Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Flink作业委托临时凭证 DLI提供了一个通用接口,可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。
Hudi是一种数据湖的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎,提供IUD接口,在HDFS的数据集上提供了插入更新和增量拉取的功能。 表1 支持类别 类别 详情 支持Flink表类型 源表、结果表 支持hudi表类型
'%Y/%m/%d');-- 2020/07/22 date_parse(string, format) → timestamp 按format格式解析日期字面量。 select date_parse('2020/07/20', '%Y/%m/%d');-- 2020-07-20 00:00:00
和json_format(json)功能相反,将json格式的字符串转换为json Json_parse和json_extract通常结合使用,用于解析数据表中的json字符串 select JSON_parse('{"id": 1, "value":"xxx"}'); -- json {"id":1
表相关API(废弃) 创建表(废弃) 删除表(废弃) 查询所有表(废弃) 描述表信息(废弃) 预览表内容(废弃) 获取分区信息列表(废弃) 父主题: 资源相关API(废弃)
数据库相关API(废弃) 创建数据库(废弃) 删除数据库(废弃) 查询所有数据库(废弃) 修改数据库用户(废弃) 父主题: 资源相关API(废弃)
资源相关API(废弃) 数据库相关API(废弃) 表相关API(废弃) 父主题: 历史API
模板相关API(废弃) 查询所有SQL样例模板(废弃) 父主题: 历史API
权限相关API(废弃) 队列赋权(废弃) 查看队列的使用者(废弃) 数据赋权(用户)(废弃) 查看数据库的使用者(废弃) 查看表的使用者(废弃) 查看表的用户权限(废弃) 父主题: 历史API
委托相关API(废弃) 获取DLI委托信息(废弃) 创建DLI委托(废弃) 父主题: 历史API
控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。 如果选择Spark版本为2
表相关API(废弃) 查询所有表(废弃) 父主题: 历史API
Flink作业相关API(废弃) 查询作业监控信息(废弃) OBS授权给DLI服务 父主题: 历史API