检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
父主题： Spark作业开发类
父主题： Spark作业开发类
line: line.split(" ")).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b) # write counts.saveAsTextFile(out_file_name) 父主题： Spark作业开发类
表1 DLI获取访问凭据相关开发指南 类型 操作指导 说明 FLink作业场景 Flink Opensource SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导，将Flink作业的输出数据写入到Mysql或DWS时，在connector
Maven安装完成后，可根据开发需要，直接引入依赖到已有的Maven工程或先用开发工具创建Maven工程。 创建项目以idea开发工具为例(已有Maven 工程可跳过此步骤)： 打开IntelliJ IDEA 开发工具。 点击File - New - project...
父主题： SQL作业开发类
图3 Driver信息 图4 Executor信息 父主题： Spark作业开发类
父主题： SQL作业开发类
创建函数 功能描述 DLI支持创建使用UDF和UDTF等自定义函数应用于Spark作业开发当中。 具体使用自定义函数端到端的开发指导可以参考：Spark SQL作业使用UDF和Spark SQL作业使用UDTF。
创建Flink Jar作业 Flink Jar作业是基于Flink能力进行二次开发的场景，即构建自定义应用Jar包并提交到DLI的队列运行。
创建函数 功能描述 DLI支持创建使用UDF和UDTF等自定义函数应用于Spark作业开发当中。 具体使用自定义函数端到端的开发指导可以参考：Spark SQL作业使用UDF和Spark SQL作业使用UDTF。
具体方法如下： Statement st = conn.stamte() st.execute("set spark.sql.shuffle.partitions=20") 父主题： Spark作业开发类
管理DLI全局变量 什么是全局变量 DLI支持在管理控制台设置全局变量，将作业开发过程中频繁使用的变量设置为全局变量，可以避免在编辑作业过程中重复定义，减少开发与维护成本。通过使用全局变量可以替换长难复杂变量，简化复杂参数，提升SQL语句可读性。
Flink Jar作业开发 Flink Jar作业开发基础样例 通过自定义作业与MRS进行交互为例进行介绍Flink Jar作业开发样例。 使用Flink Jar写入数据到OBS开发指南 介绍将kafka数据处理后写入到OBS的操作样例。
父主题： SQL作业开发类
VIEW [IF NOT EXISTS] view_name [{columnName [, columnName ]* }] [COMMENT view_comment] AS query_expression 功能描述 通过定义数据视图的方式，将多层嵌套写在数据视图中，简化开发过程
VIEW [IF NOT EXISTS] view_name [{columnName [, columnName ]* }] [COMMENT view_comment] AS query_expression 功能描述 通过定义数据视图的方式，将多层嵌套写在数据视图中，简化开发过程
VIEW [IF NOT EXISTS] view_name [{columnName [, columnName ]* }] [COMMENT view_comment] AS query_expression 功能描述 通过定义数据视图的方式，将多层嵌套写在数据视图中，简化开发过程
VIEW [IF NOT EXISTS] view_name [{columnName [, columnName ]* }] [COMMENT view_comment] AS query_expression 功能描述 通过定义数据视图的方式，将多层嵌套写在数据视图中，简化开发过程
父主题： SQL作业开发类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
