检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Tableau通过Kyuubi连接DLI进行数据查询和分析 Tableau是一款数据分析和可视化工具，支持通过拖放式界面连接到各种数据源，创建交互式和共享式的数据可视化，从而将数据转化为可操作的见解。 Kyuubi是一个分布式 SQL 查询引擎，它提供了标准的SQL接口，使用户能够方便地访问和分析存储在大数据平台中的数据。
为“-1”，会导致查询失败。 该SDK接口不支持sql_pattern，即通过指定sql片段作为作业过滤条件进行查询。 如果需要则可以通过查询所有作业API接口指定该参数进行查询。 查询作业结果 DLI提供查询作业结果的接口。您可以使用该接口通过JobId查询该作业信息。示例代码如下：
项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 limit 否 String 查询最大连接个数，默认为100。 offset 否 String 查询结果偏移量，默认为0（连接以创建时间进行排序）。 auth_info_name 是 String 认证信息名，同一个project下唯一。
BI通过Kyuubi连接DLI进行数据查询和分析 Fine BI是一款智能可视化工具，专注于数据分析和可视化。它支持连接多种数据源，能够将复杂的数据转换为直观的图表和仪表板，快速获得数据洞察。 Kyuubi是一个分布式 SQL 查询引擎，它提供了标准的SQL接口，使用户能够方便地访问和分析存储在大数据平台中的数据。
VACUUM delta_table0 RETAIN 168 HOURS;--单位只支持HOURS 优化Delta表 为了提高查询速度，Delta Lake支持优化数据在存储中的布局，这会将许多较小的文件压缩为较大的文件。 optimize delta_table0; optimize delta_table0
项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 limit 否 String 查询最大连接个数，默认为100。 offset 否 String 查询结果偏移量，默认为0（连接以创建时间进行排序）。 auth_info_name 是 String 认证信息名，同一个project下唯一。
jobId 基于Flink作业的job ID进行过滤，表示查看当前Flink作业的指标信息，即仅查看当前job ID的监控指标。 通过Flink UI查看job ID。 通过日志查看，可在Flink jobmanager日志中搜索关键词查看job ID。 步骤5：配置Prometheus监控告警通知（可选）
CLEAN 命令功能 用于根据配置对Timeline上的Instant进行clean，删除老旧的历史版本文件，以减少hudi表的数据存储及读写压力。 命令格式 RUN CLEAN ON tableIdentifier; RUN CLEAN ON tablelocation; 参数描述
减少磁盘上的存储。存储的节省可高达约75%。 资源和成本规划 表1 资源和成本规划 资源 资源说明 成本说明 OBS 需要创建一个OBS桶将数据上传到对象存储服务OBS，为后面使用DLI完成数据分析做准备。 OBS的使用涉及以下几项费用： 存储费用：静态网站文件存储在OBS中产生的存储费用。
field为preCombineField的值。 使用由DLI提供的元数据服务时，本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。 父主题： Hudi DML语法说明
单击“启动”后，跳转至“作业配置清单”页面。 在“作业配置清单”页面，确认作业信息及价格，如果无误，单击“立即启动”。 作业启动后，可在对应作业的“状态”列中查看运行成功或失败。 停止作业 当用户不需要运行某个作业时，用户可以将状态为“运行中”和“提交中”的作业停止。 在DLI管理控制台的左侧导航栏
创建队列：在弹性资源池中添加队列。 上传分组资源：上传Spark作业所需的资源包。 查询组内资源包：确认上传的资源包是否正确。 创建批处理作业：创建并提交Spark批处理作业。 查询批处理作业状态：查看批处理作业状态。 查询批处理作业日志：查看批处理作业日志。 操作步骤 创建弹性资源池elastic_pool_dli
方式与Spark一致。 DLI元数据可在数据湖探索管理控制台的“数据管理 > 库表管理”中查看。 Lakeformation元数据可在湖仓构建Lakeformation服务的管理控制台中查看。 相关操作 DLI SQL队列对接DLI元数据方法： 在DLI管理控制台的SQL编辑器页面的“数据目录”中选择“dli”。
使用CTS审计DLI服务 通过云审计服务，您可以记录与DLI服务相关的操作事件，便于日后的查询、审计和回溯。 表1 云审计服务支持的DLI操作列表 操作名称 资源类型 事件名称 创建数据库 database createDatabase 删除数据库 database deleteDatabase
状态为“启动中”的作业不能查看SparkUI界面。 目前DLI配置SparkUI只展示最新的100条作业信息。 终止作业：终止启动中和运行中的作业。 重新执行：重新运行该作业。 归档日志：将作业日志保存到系统创建的DLI临时数据桶中。 提交日志：查看提交作业的日志。 Driver日志：查看运行作业的日志。
DLI支持原生Spark的DataSource能力，并在其基础上进行了扩展，能够通过SQL语句或者Spark作业访问其他数据存储服务并导入、查询、分析处理其中的数据，目前支持的DLI跨源访问服务有：表格存储服务CloudTable，云搜索服务CSS，分布式缓存服务DCS，文档数据库服务DDS，数据仓库服务
增强型跨源连接绑定队列失败怎么办？ 问题现象 客户创建增强型跨源连接后，在队列管理测试网络连通性，网络不通，单击对应的跨源连接查看详情，发现绑定队列失败，报错信息如下： Failed to get subnet 86ddcf50-233a-449d-9811-cfef2f603213
SHOW语法使用概要 SHOW语法主要用来查看数据库对象的相关信息，其中LIKE子句用来对数据库对象过滤，匹配规则如下，具体示例可参看SHOW TABLES： 规则1：_可以用来匹配单个任意字符。 规则2：%可以用来匹配0个或者任意个任意字符。 规则3：* 可以用来匹配0个或者任意个任意字符。
15相关依赖包信息： 查看Flink日志。 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击作业名称，选择“运行日志”。 控制台只展示最新的运行日志，更多日志信息请查看保存日志的OBS桶。 在日志中搜索依赖包信息。 在日志中搜索“Classpath:”即可查看相关依赖包信息。
用于CTAS命令，将源表的select查询结果或某条数据插入到新创建的OBS表中。 表2 OPTIONS参数描述 参数 是否必选 描述 path 否 指定的表路径，即OBS存储路径。 multiLevelDirEnable 否 嵌套子目录场景下，是否迭代查询子目录中的数据。当配置为true时，查询该表时会迭
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
