检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
allow-comments 否 false Boolean 是否允许忽略注释行（默认不允许），注释行以 '#' 作为起始字符。 如果允许注释行，请确保 csv.ignore-parse-errors 也开启了从而允许空行。 csv.ignore-parse-errors 否 false
'id'); 注意事项 table与path参数必须存在一个，否则无法判断需要执行clustering的表。 使用由DLI提供的元数据服务时，本命令仅支持配置table参数，不支持配置path参数。 如果需要对指定分区进行clustering，参考格式：predicate => "dt
sessions参数 参数名称 是否必选 参数类型 说明 duration 否 Long 作业运行时长，单位毫秒。 id 否 String 批处理作业的id。 state 否 String 批处理作业的状态。 appId 否 String 批处理作业的后台app id。 log 否 Array
执行SQL查询语句报错：DLI.0003: Permission denied for resource.... 问题现象 执行SQL查询语句，提示没有对应资源查询权限。 报错信息：DLI.0003: Permission denied for resource 'databases
使用DLI插入数据到OBS临时表文件，数据量有差异。 根因分析 出现该问题可能原因如下： 作业执行过程中，读取数据量错误。 验证数据量的方式不正确。 通常在执行插入数据操作后，如需确认插入数据量是否正确，建议通过查询语句进行查询。 如果OBS对存入的文件数量有要求，可以在插入语句后加入“DISTRIBUTE
操作步骤 创建所需要的DIS通道，具体流程可参开通DIS通道。 在DIS控制台，打开“App管理 > 创建App”，填写App名称，App名称对应的是代码中的groupId。 图1 创建App 创建Flink Jar对应的程序包。 在DLI控制台，打开“数据管理 > 程序包管理”，单击“创建程序包”，创建Flink
is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。示例值：true。 message 否 String 系统提示信息，执行成功时，信息可能为空。示例值：空。 database_name 否 String 被查询的数据库名称。示例值：dsstest。 privileges
Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 privileges 否 Array <Objects> 权限信息。具体参数请参考表3。 表3 privileges参数 参数名称 是否必选 参数类型
URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 batch_id 是 String 批处理作业的ID。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明
您可以在左侧的数据库导航面板中选择数据库对象，然后在中间的查询编辑器中编写SQL语句。 编写完查询后，可以单击工具栏上的“运行”按钮（通常是一个绿色的播放图标）来执行查询。 查询执行后，结果将显示在查询编辑器下方的数据网格中。 图5 在DBeaver编写SQL查询 父主题： 使用BI工具连接DLI分析数据
查看Spark作业实时运行资源 查看Spark作业实时运行资源，即查看有多少CU正在运行。 登录DLI 控制台，单击左侧“作业管理”>“Spark作业”，在作业列表中找到需要查看的Spark作业，单击“操作”列中的“SparkUI”。 在SparkUI页面可查看Spark作业实时运行资源。 图2
OpenSource作业，创建flink opensource sql作业，输入以下作业运行脚本，提交运行作业。该作业脚本将DWS作为数据源，Print作为结果表。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.15”，勾选“保存作业日志”并设置保存作业日
SQL作业如何指定表的部分字段进行表数据的插入 如果需要将数据插入到表中，但只想指定部分字段，可以使用INSERT INTO语句结合SELECT子句来实现。 但是DLI目前不支持直接在INSERT INTO语句中指定部分列字段进行数据插入，您需要确保在SELECT子句中选择的字段
OpenSource作业，创建flink opensource sql作业，输入以下作业运行脚本，提交运行作业。该作业脚本将DWS作为数据源，Print作为结果表。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.12”，勾选“保存作业日志”并设置保存作业日
API中除特殊说明外，通常为同步操作，即响应消息中的“is_success”为请求是否执行成功。 若API为异步操作，可根据响应消息中的“job_id”，执行查询作业状态API，从而获取该异步操作API最终是否执行成功。 同时数据湖探索还提供多种编程语言的SDK供您使用，SDK的使用方法请参见华为云开发工具包（SDK）。
无请求参数。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。示例值：true。 message 否 String 系统提示信息，执行成功时，信息可能为空。示例值：空。 queue_name
通常在Spark作业执行注册viewManager时，会校验该数据库在metastore是否存在，如果该数据库存在则会导致Spark作业执行失败。 因此当Spark3.x的作业日志中如果出现一条访问catalog查询该数据库，并提示数据库不存在是为了确保Spark作业正常运行，无需执行其他操作。
Flink平台的内置依赖包冲突，导致提交失败。 解决方案 首先您需要排除是否有冲突的Jar包。 含DLI Flink提供了一系列预装在DLI服务中的依赖包，用于支持各种数据处理和分析任务。 如果您上传的Jar包中包含DLI Flink运行平台中已经存在的包，则会提示Flink Jar 包冲突，导致作用提交失败。
请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 connection_id 否 String
S的source源将数据从生产者快速移出，进行持续处理，适用于将云服务外数据导入云服务后进行过滤、实时分析、监控报告和转储等场景。 数据接入服务（Data Ingestion Service，简称DIS）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
