检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询作业监控信息（废弃） 功能介绍 该API用于查询作业监控信息, 支持同时查询多个作业的监控信息。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/metrics
nk作业模板的JavaSDK使用说明。 Python 队列相关 介绍查询所有队列的Python SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询制定资源包、删除资源包的Python SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关的Python SDK使用说明。
nt.conf 添加如下内容，并根据注释修改配置项。 #当前ECS的私有IP地址，也可以使用ifconfig命令查询。 livy.rsc.launcher.address = X.X.X.X #当前ECS服务器放通的端口号 livy.rsc.launcher.port.range
layAllTables 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 系统响应 可以直接在提交任务界面查看任务结果，或者在SQL作业界面，点击对应任务右侧的”更多”->”查看结果”检查任务结果。 父主题： Hudi DDL语法说明
单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页，选择要操作的弹性资源池，单击操作列的“添加队列”。 配置队列的基础配置，具体参数信息如下。 表4 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。
获取账号ID 在调用接口的时候，部分URL中需要填入账号ID（domain-id），所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下： 登录管理控制台。 鼠标指向界面右上角的登录用户名，在下拉列表中单击“我的凭证”。 在“API凭证”页面查看账号ID。 图1 获取账号ID
如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 推荐使用临时表进行数据中转 自读自写在突发异常场景下存在数据丢失的风险 执行SQL： INSERT OVERWRITE TABLE tablename select
被授权的IAM用户的名称。 说明： 该用户名称是已存在的IAM用户名称。 权限设置 更新：更新该全局变量。 删除：删除该全局变量。 赋权：当前用户可将全局变量的权限赋予其他用户。 回收：当前用户可回收其他用户具备的该全局变量的权限，但不能回收该全局变量所有者的权限。 查看其他用户
该字段的map的value需要为double类型，表示score，该字段的map的key表示redis的set中的值。 当data-type为sorted-set，且schema-syntax为array-scores时，除主键字段外，只能有两个非主键字段，且这两个字段的类型需要为array。
如果您需要对您所拥有的DLI资源进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），具体IAM使用场景可以参考权限管理概述。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用DLI服务的其它功能。
UNSET TBLPROPERTIES [IF EXISTS] ('comment', 'key') 系统响应 通过运行DESCRIBE命令查看表属性修改。 父主题： Schema演进语法说明
该非主键字段需要为map类型，同时该字段map的value需要为double类型，表示score，该字段的map的key表示redis的set中的值。 当data-type为sorted-set，且schema-syntax为array-scores时，除主键字段外，只能有两个非主键字段，且这两个字段的类型需要为array。
查询批处理作业日志（废弃） 功能介绍 该API用于查询批处理作业的后台日志。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v2.0/{project_id}/batches/{batch_id}/log 参数说明
参数名称 是否必选 参数类型 说明 queue_type 否 String 队列的类型，有如下三种类型： sql：查询SQL队列类型的队列。 general：查询通用队列类型的队列。 all：查询所有类型的队列。 如果不指定，默认为sql。 with-priv 否 Boolean 是否返回权限信息。
查询经典型跨源连接 功能介绍 该API用于查询该用户指定的已创建的经典型跨源连接。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v2.0/{project_id}/datasource-connection/{connection_id}
新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 涉及接口 创建弹性资源池：创建弹性资源池。 创建队列：在弹性资源池中添加队列。 上传分组资源：上传Spark作业所需的资源包。 查询组内资源包：确认上传的资源包是否正确。 创建批处理作业：创建并提交Spark批处理作业。 查询批处理作业状态：查看批处理作业状态。
该字段的map的value需要为double类型，表示score，该字段的map的key表示redis的set中的值。 当data-type为sorted-set，且schema-syntax为array-scores时，除主键字段外，只能有两个非主键字段，且这两个字段的类型需要为array。
使用DLI提交SQL作业查询OBS数据 场景描述 DLI可以查询存储在OBS中的数据，本节操作介绍使用DLI提交SQL作业查询OBS数据的操作步骤。 本例新建“sampledata.csv”文件上传OBS桶，并新建弹性资源池队列，使用DLI创建数据库和表，使用DLI提供的SQL编辑器查询表的1000条数据。
查询所有全局变量 功能介绍 该API用于查询当前project下所有全局变量的信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/variables 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型
增强型跨源支持项目级授权，授权后，项目内的用户具备该增强型跨源连接的操作权。可查看该增强型跨源连接、可将创建的弹性资源池与该增强型跨源连接绑定、可自定义路由等操作。以此实现增强型跨源连接的跨项目应用。本节操作介绍对增强型跨源连接授权或回收权限的操作步骤。 如果被授权的项目属于相同区域（region）的不同用户，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
