检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI提交SQL作业查询OBS数据的基本流程如表1所示。 开始进行如下操作前，请务必参考准备工作完成必要操作。 表1 使用DLI提交SQL作业查询OBS数据的操作步骤 操作步骤 说明 步骤1：上传数据至OBS 使用DLI查询数据前，需要将数据文件上传至OBS中。 步骤2：创建弹性资源池并添加队列
或订阅、高速队列等场景，提供字符串、哈希、列表、队列、集合结构直接存取，基于内存，可持久化。有关Redis的详细信息，请访问Redis官方网站https://redis.io/。 前提条件 要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，
或订阅、高速队列等场景，提供字符串、哈希、列表、队列、集合结构直接存取，基于内存，可持久化。有关Redis的详细信息，请访问Redis官方网站https://redis.io/。 前提条件 要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，
SDK依赖第三方库包括：urllib3 1.15以上版本，six 1.10以上版本，certifi，python-dateutil。 操作步骤 从Python官网下载并安装Python版本。 根据Python官方指导安装Python版本。 检验是否配置成功，运行cmd ，输入 p
创建OBS表 使用DataSource语法创建OBS表 使用Hive语法创建OBS表 父主题： 表相关
创建OBS表 使用DataSource语法创建OBS表 使用Hive语法创建OBS表 父主题： Spark SQL语法参考（即将下线）
SQL队列下已创建自定义函数F1，指定类名C1，Jar包名J1。 后续对J1包中函数实现做了逻辑修改，重新执行创建函数F2，指定类名C1，Jar包名J1。 说明： 注意，如果步骤2继续使用函数名F1，则会因为函数名重复导致创建失败。这时可以考虑使用OR REPLACE，或者替换所有作业中的函数F1为F2。 需要重启Spark
存储数据：DLI中支持创建OBS表，该类型表在DLI服务中只有元数据，实际数据在该表对应的OBS路径中。 创建OBS表的SQL语法请参考《使用DataSource语法创建OBS表》和《使用Hive语法创建OBS表》。 备份数据：使用DLI提供导出API，将DLI的数据导出到OBS中备份。 具体API请参考《导出数据》。
如何获取项目ID？ 项目ID是系统所在区域的ID。用户在调用API接口进行云资源管理（如创建集群）时，需要提供项目ID。 查看项目ID步骤如下： 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上，在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。例如pr
Java SDK Java SDK概述 Java SDK环境配置 OBS授权 队列相关 资源相关 SQL作业相关 Flink作业相关 Spark作业相关 Flink作业模板相关
SQL作业相关 数据库相关 表相关 作业相关 父主题： Python SDK
Python SDK Python SDK概述 Python SDK环境配置 队列相关 资源相关 SQL作业相关 Spark作业相关
0/{project_id}/jobs/submit-job 取消作业 cancelJob - DELETE /v1.0/{project_id}/jobs/{job_id} 查询所有作业 listAllJobs - GET /v1.0/{project_id}/jobs?page-size
Java SDK环境配置 Java开发环境配置 SDK的获取与安装 初始化DLI客户端 父主题： Java SDK
图解数据湖探索
数据迁移 数据迁移概览 迁移Hive数据至DLI 迁移Kafka数据至DLI 迁移Elasticsearch数据至DLI 迁移RDS数据至DLI 迁移DWS数据至DLI
数据分析 使用DLI进行车联网场景驾驶行为数据分析 使用DLI将CSV数据转换为Parquet数据 使用DLI进行电商BI报表分析 使用DLI进行账单分析与优化 使用DLI Flink SQL进行电商实时业务数据分析 永洪BI对接DLI提交Spark作业
队列网络联通 配置DLI队列与内网数据源的网络联通 配置DLI 队列与公网网络联通
集群相关API（废弃） 创建集群（废弃） 删除集群（废弃） 获取指定集群信息（废弃） 获取全部集群信息（废弃） 父主题： 历史API
分组资源相关API（废弃） 上传分组资源（废弃） 查询分组资源列表（废弃） 上传jar类型分组资源（废弃） 上传pyfile类型分组资源（废弃） 上传file类型分组资源（废弃） 查询组内资源包（废弃） 删除组内资源包（废弃） 修改组或资源包拥有者（废弃） 父主题： 历史API
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
