检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同，您可以从地区和终端节点中查询所有服务的终端节点。 数据湖探索的终端节点如下表所示，请您根据业务需要选择对应区域的终端节点。 表1 数据湖探索的终端节点 区域名称 区域 终端节点（Endpoint） 华北-北京四 cn-north-4
购买弹性资源池并在弹性资源池中添加队列的具体操作步骤请参考创建弹性资源池并添加队列。 全局共享模式： 全局共享模式是一种根据SQL查询中实际扫描的数据量来分配计算资源的模式，不支持指定或预留计算资源。 DLI服务预置的“default”队列即为全局共享模式的计算资源，资源的大小
收后，该表不会被删除。 分区表不支持设置分区级的生命周期，仅支持表级别的生命周期管理。 生命周期回收为每天定时启动，扫描全量分区。 生命周期回收为每天定时启动，扫描全量分区的最后一次表数据被修改的时间（LAST_ACCESS_TIME）需要超过生命周期指定的时间才回收。 假设某个
导出查询结果 功能介绍 该API用于将SQL语句的查询结果导出到OBS对象存储中，只支持导出“QUERY”类型作业的查询结果。 该API为异步操作。 目前只支持导出数据到OBS中，且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号，且其中的桶名不能以正则格式“.[0-9]+(
查询所有表（废弃） 功能介绍 该API用于查询指定数据库下符合过滤条件的或所有的表信息。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/databases/{database_name}/tables
查询HBase表 SELECT命令用于查询hbase表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT：对查询结果进行限制，number参数仅支持INT类型。 注意事项 所查询的表必须是已经存在的表，否则会出错。
查询DCS表 SELECT命令用于查询DCS表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT：对查询结果进行限制，number参数仅支持INT类型。 示例 查询表test_redis中的数据。 1 SELECT
查询所有表（废弃） 功能介绍 该API用于查询指定数据库下符合过滤条件的或所有的表信息。 当前接口已废弃，不推荐使用。 URI URI格式： GET /v1.0/{project_id}/databases/{database_name}?keyword=tb&with-detail=true
储在该OBS桶中。 图2 设置DLI作业桶 查询SQL作业日志 登录DLI管理控制台，单击“作业管理 > SQL作业”。 选择待查询的SQL作业，单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期，单击操作列的“ 下载”，下载SQL作业日志到本地。
设置DLI作业桶 查看Flink作业提交日志 用户可以通过查看提交日志排查提交作业异常的故障。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入Flink作业管理页面。 单击需要查看的作业名称，进入“作业详情”页面。 在“提交日志”页签，可以查看提交作业的过程信息。
单击“控制台”页面上方“费用与成本”，在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“手动续费项”、“自动续费项”、“到期转按需项”、“到期不续费项”页签查询全部待续费资源，对资源进行手动续费的操作。 图2 续费管理 所有需手动续费的资源都可归置到“手动
xx.xx:8181。 检测跨源连接的连通性时对域名约束限制如下： 域名的限制长度为1到255的字符串，并且组成必须是字母、数字、下划线或者短横线。 域名的顶级域名至少包含两个及以上的字母，例如.com，.net，.cn等。 测试时域名后可选择添加端口，用":"隔开，端口最大限制为5位，端口范围：0~65535。
使用Spark Jar作业读取和查询OBS数据 操作场景 DLI完全兼容开源的Apache Spark，支持用户开发应用程序代码来进行作业数据的导入、查询以及分析处理。本示例从编写Spark程序代码读取和查询OBS数据、编译打包到提交Spark Jar作业等完整的操作步骤说明来帮助您在DLI上进行作业开发。
而产生的计费。具体操作请参考数据存储。 数据存储 进入“数据管理”>“库表管理”页面。 查看所建的数据库中是否有存储在DLI中的数据： 单击所要查看的数据库名，进入对应的“表管理”页面； 查看对应表的“数据存储位置”是否为DLI。 如果有存储在DLI中的数据，则按照存储计费的标准计费。
k作业进行读取和分析。 上传数据到OBS桶：通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。 Spark读取OBS文件数据，详见使用Spark Jar作业读取和查询OBS数据。 配置Spark作业：配置Spark作业访问OBS中存储的数据。 提
该参数设置为true： 当子查询中数据不重复的情况下，执行关联子查询，不需要对子查询的结果去重。 当子查询中数据重复的情况下，执行关联子查询，会提示异常，必须对子查询的结果做去重处理，比如max(),min()。 该参数设置为false： 不管子查询中数据重复与否，执行关联子查询时，都需要对子查询的结果去重，比如max()
can files number规则。 不同的引擎版本支持的防御规则不同。 如需查看队列的引擎版本，您可以在队列资源的资源列表页面，通过查看队列基本信息中的“默认版本”获取引擎的版本信息。 图1 查看队列引擎版本 表2 DLI支持的系统防御规则 规则ID 规则名称 说明 类别 适用引擎
查询作业监控信息（废弃） 功能介绍 该API用于查询作业监控信息, 支持同时查询多个作业的监控信息。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/metrics
使用DLI提交SQL作业查询OBS数据 场景描述 DLI可以查询存储在OBS中的数据，本节操作介绍使用DLI提交SQL作业查询OBS数据的操作步骤。 本例新建“sampledata.csv”文件上传OBS桶，并新建弹性资源池队列，使用DLI创建数据库和表，使用DLI提供的SQL编辑器查询表的1000条数据。
OBS桶中。 图2 设置DLI作业桶 查询Spark作业日志 登录DLI管理控制台，单击“作业管理 > Spark作业”。 选择待查询的Spark作业，单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期，单击操作列的“下载”下载Spark日志到本地。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
