检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Beeline通过Kyuubi连接DLI进行数据查询和分析 Beeline是数据分析师和数据工程师的重要工具之一，适用于大规模数据处理的场景。Beeline提供了的SQL引擎，使得用户可以使用SQL的语言来执行数据查询、数据分析和管理任务。 Kyuubi是一个分布式 SQL
配置Fine BI通过Kyuubi连接DLI进行数据查询和分析 Fine BI是一款智能可视化工具，专注于数据分析和可视化。它支持连接多种数据源，能够将复杂的数据转换为直观的图表和仪表板，快速获得数据洞察。 Kyuubi是一个分布式 SQL 查询引擎，它提供了标准的SQL接口，使
如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度 操作场景 Spark作业在执行shuffle类语句，包括group by、join等场景时，常常会出现数据倾斜的问题，导致作业任务执行缓慢。 该问题可以通过设置spark.sql.shuffle
通过跨源表向CloudTable Hbase表导入数据，executor报错：RegionTooBusyException 问题现象 客户通过DLI跨源表向CloudTable Hbase导入数据，原始数据：HBASE表，一个列簇，一个rowkey运行一个亿的模拟数据，数据量为9
配置PowerBI通过Kyuubi连接DLI进行数据查询和分析 Power BI提供了数据集成、数据仓库、报告和数据可视化等功能，能够将复杂的数据转换为易于理解和交互的可视化图表和仪表板，从而帮助企业做出基于数据的决策。 Kyuubi是一个分布式SQL查询引擎，它允许用户通过标准的SQL接口来访问和分析数据。
table_name 需要执行INSERT命令的表的名称。 part_spec 指定详细的分区信息。若分区字段为多个字段，需要包含所有的字段，但是可以不包含对应的值，系统会匹配上对应的分区。单表分区数最多允许100000个。 select_statement 源表上的SELECT查询（支持DLI表、OBS表）。
弹性资源池中的队列，当队列的最小CUs小于16CUs时，在队列属性中设置的“最大spark driver实例数”和“最大预拉起spark driver实例数”不生效。 开启“作业结果保存策略”，即配置作业结果保存至DLI作业桶后，请务必在提交SQL作业前配置DLI作业桶信息，否则SQL作业可能会提交失败。
DLI分区内表导入的文件不包含分区列的数据，导致数据导入完成后查询表数据失败怎么办？ 问题现象 DLI分区内表导入了CSV文件数据，导入的文件数据没有包含对应分区列的字段数据。分区表查询时需要指定分区字段，导致查询不到表数据。 问题根因 DLI分区内表在导入数据时，如果文件数据没
添加Python包后，找不到指定的Python环境 添加Python3包后，找不到指定的Python环境。 可以通过在conf文件中，设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3，指定计算集群环境为Python3环境。 目前，新
Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据 问题现象 使用Flink作业输出流写入数据到了OBS中，通过该OBS文件路径创建的DLI表进行数据查询时，无法查询到数据。 例如，使用如下Flink结果表将数据写入到OBS的“obs://obs-sink/car_infos”路径下。
Jar包名J1。因为是第一次创建指定C2的函数，这时该F2函数不能立即生效。 两种生效方式 CREATE OR REPLACE F2 FUNCTION创建语句再执行一次生效 重启Spark SQL队列后生效 如果是选择重启Spark SQL队列，则会导致当前运行的作业受影响。 场景三
包年包月计费模式的弹性资源池，通过调整当前弹性资源池中队列的最大CU或增加队列，以增大弹性资源池的实际CUs，再通过变更弹性资源池规格，将规格调整至大于等于目标CUs，此时实际CUs等于规格，再通过CU设置，调整CU范围的最小值等于目标CUs。 按需计费模式的弹性资源池，通过调整当前弹性资源池
API语法说明 设置写入方式 Hudi通过hoodie.datasource.write.operation参数设置写入模式。 insert： 该操作不需要通过索引去查询具体更新的文件分区，因此它的速度比upsert快。当不包含更新数据时建议使用该操作，如果存在更新数据使用该操作会出现重复数据。
两种队列类型。 其中，“SQL队列”用于运行SQL作业，“通用队列”兼容老版本的Spark队列，用于运行Spark作业和Flink作业。 通过以下步骤，可以将老版本的“Spark队列”转换为新的“通用队列”。 重新购买“通用队列”。 将在旧的“Spark队列”中的作业迁移到新的“
的中的示例。 默认情况下空的input split不创建partition 说明： Spark2.4.x：默认情况下空的input split将创建partition。 Spark3.3.x：默认情况下空的input split不创建partition。 Spark3.3.x时spark
如果选择“邮件”协议，需要在“订阅终端”中填写接收确认邮件的邮箱地址。 更多信息，请参考《消息通知服务用户指南》中《添加订阅》章节。 图4 添加订阅 通过单击短信或者邮件中的链接确认后，将收到“订阅成功”的信息。 在消息通知服务的“订阅”页面，对应的订阅状态为“已确认”，表示订阅成功。 父主题：
名，则"url"中的数据库名不生效。 collection DDS中的collection名，如果在"url"中同时指定了collection，则"url"中的collection不生效。 说明： 如果在DDS中已存在collection，则建表可以不指定schema信息，DLI
Clustering操作说明 什么是Clustering 即数据布局，该服务可重新组织数据以提高查询性能，也不会影响摄取速度。 Clustering架构 Hudi通过其写入客户端API提供了不同的操作，如insert/upsert/bulk_insert来将数据写入Hudi表。为了能够在文件大小和入湖速
partitionColumn设置的字段数据最小值，该值包含在返回结果中。 upperBound partitionColumn设置的字段数据最大值，该值不包含在返回结果中。 numPartitions 读取数据时并发数。 说明： 实际读取数据时，会根据“lowerBound”与“upperBo
下truststore文件的路径，在初始化前将其引入properties中才能生效。 kafka source可以在open里引入。 图1 获取kafka source kafka sink可以在initializeState里引入。 图2 获取kafka sink 操作步骤 从
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
