检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 创建队列 DLI提供创建队列的接口,您可以使用该接口创建队列。示例代码如下: 1 2 3 4 5 6 7 8 9 private static void createQueue(DLIClient
提供了一个统一的API,用于管理元数据,并使其可以从Table API和SQL查询语句中来访问。详情参考Apache Flink Catalogs 功能描述 HiveCatalog有两个用途:作为原生Flink元数据的持久化存储,以及作为读写现有Hive元数据的接口。 Flink 的Hive
提供跨源连接、分析相关的功能介绍和操作指导。 开发指南 跨源访问其他数据源 提供跨源访问CSS、DWS、HBase、OpenTSDB、RDS、Redis、Mongo等样例代码和开发指导。 增强型跨源API参考 提供增强型跨源相关API接口指导。
网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率、等待作业数等信息。还可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 关于DLI支持的监控指标请参见数据湖探索监控指标说明及查看指导。 父主题: 安全
详细的成本分析。 例如:某个队列作用于A部门,我们可以用该部门名称作为标签,设置到被使用的集群上。在分析话单时,就可以通过标签分析该部门的开发使用成本。 DLI以键值对的形式描述标签。一个队列默认20个标签。每个标签有且只有一对键值。键和值可以任意顺序出现在标签中。同一个集群标签
如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink
通过不同的接口与Kyuubi进行交互。 是 mysql thrift_binary kyuubi.engine.dli.schema.show.name 用于指定当用户执行show schemas或show databases语句时,Kyuubi引擎如何展示数据源接口的模式名称。
如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink
如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink
的事务日志扩展了 Parquet 数据文件,可以处理 ACID 事务和可缩放的元数据。 Delta Lake与Apache Spark API完全兼容,并且其设计能够与结构化流式处理紧密集成,可以轻松地将单个数据副本用于批处理和流式处理操作,并提供大规模增量处理。 DLI中Delta的使用限制
什么是Clustering 即数据布局,该服务可重新组织数据以提高查询性能,也不会影响摄取速度。 Clustering架构 Hudi通过其写入客户端API提供了不同的操作,如insert/upsert/bulk_insert来将数据写入Hudi表。为了能够在文件大小和入湖速度之间进行权衡,Hudi提供了一个hoodie
通过不同的接口与Kyuubi进行交互。 是 mysql thrift_binary kyuubi.engine.dli.schema.show.name 用于指定当用户执行show schemas或show databases语句时,Kyuubi引擎如何展示数据源接口的模式名称。
通过不同的接口与Kyuubi进行交互。 是 mysql thrift_binary kyuubi.engine.dli.schema.show.name 用于指定当用户执行show schemas或show databases语句时,Kyuubi引擎如何展示数据源接口的模式名称。
通过不同的接口与Kyuubi进行交互。 是 mysql thrift_binary kyuubi.engine.dli.schema.show.name 用于指定当用户执行show schemas或show databases语句时,Kyuubi引擎如何展示数据源接口的模式名称。
通过不同的接口与Kyuubi进行交互。 是 mysql thrift_binary kyuubi.engine.dli.schema.show.name 用于指定当用户执行show schemas或show databases语句时,Kyuubi引擎如何展示数据源接口的模式名称。
存为模板,便捷快速的执行SQL操作。 开发指导 Spark SQL语法参考 提供Spark SQL数据库、表、分区、导入及导出数据、自定义函数、内置函数等语法说明和样例指导。 使用Spark作业访问DLI元数据 提供Spark SQL作业开发的操作指引和样例代码参考。
DLI提供的增强型跨源连接功能,通过建立对等连接,实现DLI与数据源的VPC网络互通,为DLI的跨源分析提供了支持。 目前DLI支持跨源访问的数据源请参考跨源分析开发方式。 增强型跨源连接收费吗? 增强型跨源连接不计费。 怎样创建增强型跨源连接? 在DLI管理控制台,单击“跨源管理 > 增强型跨源 ”。
truststore的password,-表示需要用户输入自定义设置的密码值。 是 - security.ssl.rest.enabled REST API接口是否启用SSL/TLS加密。 是 false security.ssl.verify-hostname 用于控制在建立SSL/TLS连接
建IAM用户,并使用策略来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有DLI的使用权限,但是不希望他们拥有删除DLI等高危操作的权限,那么您可以使用IAM为开发人员创建用户,通过授予仅能使用DLI,但是不允许删除DLI的权限策略,控制他们对DLI资源的使用范围。
'obs://bucket/path/h1'; run compaction on 'obs://bucket/path/h1'; 注意事项 使用API方式对SQL创建的Hudi表触发Compaction时需要添加参数hoodie.payload.ordering.field为preCombineField的值。