检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数值 源连接名称 选择1.a中已创建的数据源名称。 使用SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 本示例当前选择为“否”。 模式或表空间 “使用SQL语句”选择“否”时，显示该参数，表示待抽取数据的模式或表空间
kyuubi.engine.dli.set.conf.sql.suffix=true 在sql语句的末尾添加注解参数。 set 参数 示例： set dli.sql.current.database=tpch set dli.sql.shuffle.partitions=100 图7
的建表语法，再到具体的DLI上执行。 在DLI上创建数据库和表。 登录DLI管理控制台，选择“SQL编辑器”，在SQL编辑器中“执行引擎”选择“spark”，“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库，例如当前创建迁移后的DLI数据库testdb。详细的D
car_infos分区信息。 alter table car_infos recover partitions; 父主题： Flink SQL作业类
DLI支持存储哪些格式的数据？ DLI支持如下数据格式： Parquet CSV ORC Json Avro DLI服务的数据可以存储在哪些地方？ OBS：SQL作业，Spark作业，Flink作业使用的数据均可以存储在OBS服务中，降低存储成本。 DLI：DLI内部使用的是列存的Parquet格式
用户名：Kyuubi用户名。 单击“登录”连接Kyuubi。 常用操作：SQL作业参数设置 在sql语句的末尾添加注解参数。 -- @set 参数 示例： -- @set dli.sql.current.database=tpch -- @set dli.sql.shuffle.partitions=10 图6
join表时没有添加on条件，造成笛卡尔积查询，导致队列资源爆满，作业运行失败怎么办？ 问题现象 运行的SQL语句中存在join表，但是join没有添加on条件，多表关联造成笛卡尔积查询，最终导致队列资源占满，该队列上的作业运行失败。 例如，如下问题SQL语句，存在三个表的left join，并且没有指定on条件，造成笛卡尔积查询。
set dli.sql.current.database=tpch set dli.sql.shuffle.partitions=10 图6 FineBI参数配置示例 在DLI的SQL编辑器的执行效果：Set参数会修改为注释提交到DLI侧执行。 图7 在DLI的SQL编辑器查看配置的参数
本节操作介绍使用Flink Jar连接开启SASL_SSL认证的Kafka的操作方法。 如需使用Flink OpenSource SQL连接开启SASL_SSL认证的Kafka，请参考Flink SQL语法参考-Kafka源表。 环境准备 已在DLI控制台购买了通用队列。 已购买了Kafka实例，并开启了SASL_SSL认证。
Spark 3.3.1。 本节操作介绍如何升级作业的引擎版本。 SQL作业： SQL作业不支持配置引擎版本，需要您重新新建队列执行SQL作业，新创建的队列会默认使用新版本的Spark引擎。 Flink OpenSource SQL作业： 登录DLI管理控制台。 选择“作业管理 > Fli
Studio服务进行作业开发请参考《数据治理中心用户指南》。 Spark SQL语法创建表时是否支持定义主键 Spark SQL语法不支持定义主键。 DLI Spark jar作业是否能访问DWS跨源表？ 可以访问。 详细操作请参考访问DWS和访问SQL库表。 如何查看Spark内置依赖包的版本？ DL
有限：自定义重试次数。 “从Checkpoint恢复”：从已保存的checkpoint恢复作业。 说明： Flink SQL作业和Flink OpenSource SQL作业不支持配置该参数。 勾选该参数后，Flinkjar作业还需要选择“Checkpoint路径”。 “Checkp
在Flink作业管理页面，将鼠标悬停到提交失败的作业状态上，查看失败的简要信息。 常见的失败原因可能包括： CU资源不足：需扩容队列。 生成jar包失败：检查SQL语法及UDF等。 如果信息不足以定位或者是调用栈错误，可以进一步单击作业名称，进入到作业详情页面，选择“提交日志”页签，查看作业提交日志。
“false”时，表示导入数据成功。 在DLI上创建数据库和表。 登录DLI管理控制台，选择“SQL编辑器”，在SQL编辑器中“执行引擎”选择“spark”，“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库，例如当前创建迁移后的DLI数据库testdb。详细的D
表1 DLI支持的作业类型 作业类型 说明 适用场景 SQL作业 适用于使用标准SQL语句进行查询的场景。通常用于结构化数据的查询和分析。 详细操作请参考创建并提交SQL作业。 适用于数据仓库查询、报表生成、OLAP（在线分析处理）等场景。 Flink作业 专为实时数据流处理设
"queues": [ { "queue_name": "lhm_sql", "enterprise_project_id": "0", "queue_type": "sql", "queue_scaling_policies": [
数据湖探索。 数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态 DLI服务在Stream SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据，如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。 开源生态 通过对
1TB数据存放在DLI表中。该公司想要了解采用哪种计费模式才是性价比最优的方式。 数据湖探索服务目前支持三种作业：SQL作业，Flink作业和Spark作业。SQL作业的计费包括存储计费和计算计费，Flink作业和Spark作业的计费只有计算计费。 示例价格仅供参考，实际计算请以DLI产品价格详情中的信息为准。
0/{project_id}/jobs/{job_id}/detail 查询SQL类型作业 listSQLJobs - - 检查SQL语法 - - POST /v1.0/{project_id}/jobs/check-sql 导出查询结果 - - POST /v1.0/{project_i
执行作业的用户数据库和表权限不足导致作业运行失败 问题现象 Spark作业运行报数据库权限不足，报错信息如下： org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
