检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开源Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kaf
Elasticsearch 功能描述 DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch 引擎的索引中。 Elasticsearch是基于Lucene的当前流行的企业级搜索服务器，具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚
CSS Elasticsearch输出流 功能描述 DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器，具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚
DDS输出流 功能描述 DLI将作业的输出数据输出到文档数据库服务（DDS）中。 文档数据库服务（Document Database Service，简称DDS）完全兼容MongoDB协议，提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务，同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能。
DDS输出流 功能描述 DLI将作业的输出数据输出到文档数据库服务（DDS）中。 文档数据库服务（Document Database Service，简称DDS）完全兼容MongoDB协议，提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务，同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能。
Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI； 在Flink jar作业的其他依赖文件参数中，选择创建的DLI程序包； 在代码中通过ClassName
MRS OpenTSDB输出流 功能描述 DLI将Flink作业的输出数据输出到MRS的OpenTSDB中。 前提条件 确保MRS的集群已经安装了OpenTSDB。 该场景作业需要运行在DLI的独享队列上，因此要与MRS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。
MRS OpenTSDB输出流 功能描述 DLI将Flink作业的输出数据输出到MRS的OpenTSDB中。 前提条件 确保MRS的集群已经安装了OpenTSDB。 该场景作业需要运行在DLI的独享队列上，因此要与MRS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。
ClickHouse 功能描述 DLI支持将Flink作业数据输出到ClickHouse数据库中，表类型仅支持结果表。 ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级
小写。资源类型和操作没有大小写，要求支持通配符号*，无需罗列全部授权项。 资源类型可以参考表4中的资源类型。 操作：操作以IAM服务中已经注册的action为准。 Condition 限制条件：使策略生效的特定条件，包括条件键和运算符。 条件键表示策略语句的 Condition
创建分区表时，分区字段必须是表字段的最后一个字段或几个字段，且多分区字段的顺序也必须对应。否则将出错。 单表分区数最多允许200000个。 2024年1月后新注册使用DLI服务的用户，且使用Spark3.3及以上版本的引擎，在使用DataSource语法创建表时支持使用CTAS创建分区表。 语法格式
创建分区表时，分区字段必须是表字段的最后一个字段或几个字段，且多分区字段的顺序也必须对应。否则将出错。 单表分区数最多允许200000个。 2024年1月后新注册使用DLI服务的用户，且使用Spark3.3及以上版本的引擎，在使用DataSource语法创建表时支持使用CTAS创建分区表。 语法格式
创建DLI表关联CSS 功能描述 使用CREATE TABLE命令创建DLI表并关联CSS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联
创建DLI表关联CSS 功能描述 使用CREATE TABLE命令创建DLI表并关联CSS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联
Kafka源表 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是
Kafka源表 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是
Elasticsearch结果表 功能描述 DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器，具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮
Elasticsearch结果表 功能描述 DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器，具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮
证 创建允许DLI访问DEW的委托。 步骤5：创建Flink Jar作业并配置作业信息 创建Flink Jar作业分析数据。 准备工作 已注册华为账号并开通华为云，且在使用DLI前检查账号状态，账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、V
配置DLI队列与内网数据源的网络联通 背景信息 DLI执行作业时如需访问外部数据源数据，如：DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。DLI增强型跨源连接，底层采用对等连接的方式打通与目的数据源的vpc网络，通过点对点的方式实现数据互通。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
