检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Redis源表 功能描述 创建source流从Redis获取数据，作为作业的输入数据。 前提条件 创建该作业前，需要建立DLI和Redis的增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安
取将持续监控表，并在新数据可用时以增量方式获取新数据。默认情况下，Flink会读取有界的表。 STREAMING读取支持同时使用分区表和非分区表。对于分区表，Flink将监控新分区的生成，并在可用时增量读取它们。对于未分区的表，Flink 会监控文件夹中新文件的生成情况，并增量读取新文件。
鼠标左键单击对应数据库右侧的，在列表菜单中选择“创建表”，创建当前数据库下的表。 在“创建表”页面，填写参数。 当数据位置为DLI时，请参见表2填写相关参数； 图2 创建表-DLI 当数据位置为OBS时，请参见表2和表3填写相关参数。 图3 创建表-OBS 表2 通用参数说明 参数名称 描述 示例 表名称
之间的网络连通。 当DLI需要访问外部数据源，而这些数据源位于不同的VPC中时，由于网络隔离，DLI默认无法直接读取这些数据源的数据。通过创建增强型跨源连接，可以采用对等连接的方式打通DLI与数据源的VPC网络，从而实现数据的互通和跨源分析。 增强型跨源连接的优势： 网络连通性：
表别名 功能描述 给表或者子查询结果起别名。 语法格式 1 SELECT attr_expr_list FROM table_reference [AS] alias; 关键字 table_reference：可以是表，视图或者子查询。 AS：可用于连接table_refere
开头。 table_name 表名称。 注意事项 所要删除的表必须是当前数据库下存在的，否则会出错，可以通过添加IF EXISTS来避免出错。 示例 参考创建OBS表或者创建DLI表中的示例描述创建对应的表。 在当前所在数据库下删除名为test的表。 1 DROP TABLE IF
Redis源表 功能描述 创建source流从Redis获取数据，作为作业的输入数据。 前提条件 创建该作业前，需要建立DLI和Redis的增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安
若为true，则表示输出数据到taskmanager的error文件中。 若为false，则表示输出数据到taskmanager的out中。 示例 参考创建Flink OpenSource作业，创建flink opensource sql作业，运行如下作业脚本，通过DataGen表产生随机数据并输出到Print结果表中。
表别名 功能描述 给表或者子查询结果起别名。 语法格式 1 SELECT attr_expr_list FROM table_reference [AS] alias; 关键字 table_reference：可以是表，视图或者子查询。 AS：可用于连接table_refere
Kafka结果表 功能描述 DLI通过Kafka结果表将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件
Kafka结果表 功能描述 DLI通过Kafka结果表将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件
若为true，则表示输出数据到taskmanager的error文件中。 若为false，则表示输出数据到taskmanager的out中。 示例 参考创建Flink OpenSource作业，创建flink opensource sql作业，运行如下作业脚本，通过DataGen表产生随机数据并输出到Print结果表中。
S集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 create table hbaseSource
S集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 create table hbaseSink
Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI； 在Flink jar作业的其他依赖文件参数中，选择创建的DLI程序包； 在代码中通过ClassName
创建DLI表关联DWS 功能描述 使用CREATE TABLE命令创建DLI表并关联DWS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联DW
'SASL_PLAINTEXT' 元信息列 您可以在源表中定义元信息列，以获取Kafka消息的元信息。例如，当WITH参数中定义了多个topic时，如果在Kafka源表中定义了元信息列，那么Flink读取到的数据就会被标识是从哪个topic中读取的数据。 表2 元信息列 Key 数据类型 是否可读(R)写(W)
源之间的网络连通方法，如：DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。 配置DLI 队列与公网网络连通 介绍DLI队列在公网访问场景下网络连通的方法。通过配置SNAT规则，添加到公网的路由信息，可以实现队列到和公网的网络打通。 Spark
的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域？ 选择区域时，您需要考虑以下几个因素： 地理位置 一般情况下，建议就近选择靠近您或者您的目标用户的区域，这样可以减少网络时延，提高访问速度。不过，在基础设施、BGP网络品质、资源的操作与配置等方面，中国大陆各个区域间区
S）里创建了DWS集群。 如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上，因此要与DWS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
