检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
table_comment 格式 无。 说明 对表的描述，仅支持字符串类型，描述长度不能超过256字节。 父主题： 标示符
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org
batch_id 是 String 批处理作业的ID。 表2 请求参数说明 参数名称 是否必选 参数类型 说明 from 否 Integer 起始日志的行号，默认显示最后100行日志。如果日志不足100行，从0行开始显示。 size 否 Integer 查询日志的数量。 type 否 String
创建IEF消息通道（废弃） 功能介绍 该API用于创建IEF消息通道。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/message-channel 参数说明
deletedFileRetentionDuration Delta不再引用的文件的保留期。当spark.databricks.delta.retentionDurationCheck.enabled为true时，清空未超过保留期的文件将会抛出异常。 168小时（1周） spark.databricks
方法创建的数据和read.format() 方法及read.jdbc() 方法查询的数据都为DataFrame对象，可以直接进行查询单条记录等操作（在“步骤4”中，提到将DataFrame数据注册为临时表）。 where where 方法中可传入包含and 和 or 的条件筛选表
业，页面显示“批处理作业提交成功”说明Spark作业提交成功，可以在Spark作业管理页面查看提交的作业的状态和日志。 创建Spark作业时选择的“所属队列”为创建跨源连接时所绑定的队列。 如果选择spark版本为2.3.2（即将下线）或2.4.5提交作业时，需要指定Module模块，名称为：sys
java样例代码 开发说明 本样例只适用于MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
请参考CSS安全集群配置，准备工作的主要目的是为了生成keystore.jks文件和truststore.jks文件，并将其上传至OBS桶中。 开发说明-https off 如果没有开启https访问的话，不需要去生成keystore.jks和truststore.jks文件的，只需要设置好ssl访问和账号密码参数即可。
String 连接ID，用于标识跨源连接的UUID。 destination 否 String 创建连接时，用户填写的队列的访问地址。 state 否 String 连接状态，具体状态请参见表4。 process 否 Double 正在创建的跨源连接进度，显示0.0至1.0代表0%至100%。
Spark作业在执行shuffle类语句，包括group by、join等场景时，常常会出现数据倾斜的问题，导致作业任务执行缓慢。 该问题可以通过设置spark.sql.shuffle.partitions提高shuffle read task的并行度来进行解决。 设置spark.sql.shuffle.partitions参数提高并行度
rogress表示整个作业的运行进度，因为没有子作业在运行，sub_job_id不展示。 如果有子作业在运行中，则展示该子作业的运行进度，progress的计算方法为：子作业已经完成的task数除以子作业总的task数。此时progress表示子作业的运行进度，sub_job_id展示。
队列相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 创建队列 DLI提供创建队列的接口，您可以使用该接口创建队列。示例代码如下： 1 2 3 4 5 6 7 8 9 private static void
15语法概览。 Flink 1.15需要配置租户面自定义委托，并在作业中配置委托信息。委托的权限需要根据作业具体的业务场景需求进行配置。详情操作请参考DLI自定义委托。 Flink 1.15作业管理凭据的方法： Flink OpenSource SQL中推荐使用DEW管理密码密钥等访问凭据信息。请参考Flink
如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 推荐使用临时表进行数据中转 自读自写在突发异常场景下存在数据丢失的风险 执行SQL： INSERT OVERWRITE TABLE tablename select
取消作业（推荐） 功能介绍 该API用于取消已经提交的作业，若作业已经执行结束或失败则无法取消。 调试 您可以在API Explorer中调试该接口。 URI URI格式： DELETE /v1.0/{project_id}/jobs/{job_id} 参数说明 表1 URI 参数
project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 String 指定删除的队列名称。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean
用户已上传到DLI资源管理系统的类型为jar或pyFile的程序包名。也支持指定OBS路径，例如：obs://桶名/包名。 className 是 String 批处理作业的Java/Spark主类。 queue 否 String 用于指定队列，填写已创建DLI的队列名。必须为通用类型的队列。 说明：
单击“确定”，解除弹性资源池与增强型跨源连接的绑定关系。 方法二： 选择待删除的增强型跨源连接，单击列表中的连接名称，进入连接”。 选择待解绑的弹性资源池，单击操作列“解绑弹性资源池”。 单击“是”，解除弹性资源池与增强型跨源连接的绑定关系。 父主题： 管理增强型跨源连接
连接ID，用于标识跨源连接的UUID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 hosts 是 Array of objects 用户自定义主机信息，最大支持2万条记录，详细信息参见表 hosts请求参数。内容填空表示清除所有已配置的主机信息。 表3 hosts请求参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
