检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
父主题: SQL作业开发类
例如开发自定义类MySink:public class MySink extends RichSinkFunction< Tuple2<Boolean, Row>>{},需重点实现其中的open、invoke和close函数。
父主题: Spark作业开发类
当前Spark作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通(增强型跨源连接)。
关于Java开发环境的配置请参考Java SDK环境配置。 关于Java SDK的获取与安装请参考SDK的获取与安装。 使用SDK工具访问DLI,需要用户初始化DLI客户端。
Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。
Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联RDS之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。
Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联CSS之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。
Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联DCS之前需要创建跨源连接,绑定队列。管理控制台操作请参考增强型跨源连接。
Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联HBase之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。
Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联DDS之前需要创建跨源连接,绑定队列。管理控制台操作请参考增强型跨源连接。
Flink作业支持Flink SQL在线分析功能:支持Window、Join等聚合函数,用SQL表达业务逻辑,简便快捷实现业务。具体内容请参考Flink OpenSource SQL语法参考。
这些功能广泛应用于数据清洗、文本处理和数据分析场景,为开发者提供强大的工具支持。 字符串函数简介请参考表1,更多内容参考Apache Flink。 表1 字符串函数 SQL函数 描述 string1 || string2 返回 STRING1 和 STRING2 的连接。
Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联DWS之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。
这些功能广泛应用于数据清洗、文本处理和数据分析场景,为开发者提供强大的工具支持。 字符串函数简介请参考表1,更多内容参考Apache Flink。
Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。
这些功能广泛应用于数据清洗、文本处理和数据分析场景,为开发者提供强大的工具支持。 字符串函数简介请参考表1,更多内容参考Apache Flink。
适用于可预估资源使用周期的场景,例如已完成开发进入生产阶段的项目,推荐使用包年包月计费模式预留业务所需资源。 包年包月的弹性资源池在使用过程中规格内按包周期计费,超出规格部分按需计费。 按需计费:按需计费是一种后付费模式,默认勾选专属资源模式,空闲时资源不被释放。
了解数据目录、数据库和表 数据库和表是SQL作业、Spark作业场景开发的基础,在执行作业前您需要根据业务场景定义数据库和表。 Flink支持动态数据类型,可以在运行时定义数据结构,不需要事先定义元数据。
步骤1:开发Jar包并上传数据至OBS DLI控制台不提供Jar包的开发能力,您需要在线下完成Jar包的开发。Jar包的开发样例请参考Flink Jar开发基础样例。 参考Flink作业样例代码开发Flink Jar作业程序,编译并打包为“flink-examples.jar”。