检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sql编辑页的UDF Jar上传。 依赖的pom配置文件内容参考如下： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.11</artifactId>
使用。 IAM是华为云提供权限管理的基础服务，无需付费即可使用，您只需要为您账号中的资源进行付费。关于IAM的详细介绍，请参见《IAM产品介绍》。 如果华为云账号已经能满足您的需求，不需要创建独立的IAM用户进行权限管理，您可以跳过本章节，不影响您使用DLI服务的其他功能。 DLI系统权限
Managers”，单击对应的任务名称，选择“Stdout”查看作业运行日志。 方法二：若在提交运行作业前“运行参数”选择了“保存作业日志”，可以通过如下操作查看。 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。
分组资源相关API（废弃） 上传分组资源（废弃） 查询分组资源列表（废弃） 上传jar类型分组资源（废弃） 上传pyfile类型分组资源（废弃） 上传file类型分组资源（废弃） 查询组内资源包（废弃） 删除组内资源包（废弃） 修改组或资源包拥有者（废弃） 父主题： 历史API
已经配置DLI作业桶，且完成Flink桶授权后在提交作业时仍然提示桶未授权怎么办？ 根因分析 使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略，确保策略中包含了允许DLI服务进行必要操作的授权信息。 确保没有任何策略明确拒绝了DLI服务对桶的访
式的文件数据导入。 MAP数据类型建表必须指定schema，且不支持date、short、timestamp数据类型。 对于JSON格式OBS表，MAP的键类型只支持STRING类型。 由于MAP类型的键不能为NULL，MAP键不支持对插入数据进行可能出现NULL值类型之间的隐式
式的文件数据导入。 MAP数据类型建表必须指定schema，且不支持date、short、timestamp数据类型。 对于JSON格式OBS表，MAP的键类型只支持STRING类型。 由于MAP类型的键不能为NULL，MAP键不支持对插入数据进行可能出现NULL值类型之间的隐式
搜索等场景。 云搜索服务（Cloud Search Service，简称CSS）为DLI提供托管的分布式搜索引擎服务，完全兼容开源Elasticsearch搜索引擎，支持结构化、非结构化文本的多条件检索、统计、报表。 云搜索服务的更多信息，请参见《云搜索服务用户指南》 前提条件 创建Flink
语法分类 操作链接 数据库相关语法 创建数据库 删除数据库 查看指定数据库 查看所有数据库 创建OBS表相关语法 使用DataSource语法创建OBS表 使用Hive语法创建OBS表 创建DLI表相关语法 使用DataSource语法创建DLI表 使用Hive语法创建DLI表 删除表相关语法
并且促使各个厂商以及研究机构将该项技术推向极限。 本示例将演示DLI直接对存储在OBS中的TPC-H数据集进行查询的操作，DLI已经预先生成了100M的TPC-H-2.18的标准数据集，已将数据集上传到了OBS的tpch文件夹中，并且赋予了只读访问权限，方便用户进行查询操作。 TPC-H的测试和度量指标
FileSystem结果表 功能描述 FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的，每个桶中的数据被组织成有限大小的Part文件。完
FileSystem结果表 功能描述 FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的，每个桶中的数据被组织成有限大小的Part文件。完
FileSystem结果表 功能描述 FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的，每个桶中的数据被组织成有限大小的Part文件。完
分组 按列GROUP BY 按表达式GROUP BY GROUP BY中使用HAVING ROLLUP GROUPING SETS 父主题： SELECT
OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭
Python SDK环境配置 操作场景 在进行二次开发时，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统，推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本，需要配置Visual
arkSQL，详细语法描述请参见《数据湖探索Spark SQL语法参考》。 发布区域：全部 使用DLI提交SQL作业查询OBS数据 导出SQL作业结果 OBS 2.0支持DLI Spark作业 DLI在开源Spark基础上进行了大量的性能优化与服务化改造，兼容Apache Spark生态和接口，执行批处理任务。
SELECT 基本语句 排序 分组 连接 子句 别名SELECT 集合运算SELECT WITH...AS CASE...WHEN
对接RDS scala样例代码 pyspark样例代码 java样例代码 父主题： 使用Spark作业跨源访问数据源
对接Mongo scala样例代码 pyspark样例代码 java样例代码 父主题： 使用Spark作业跨源访问数据源
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
