检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
流生态作业开发指引 流生态系统基于Flink和Spark双引擎，完全兼容Flink/Storm/Spark开源社区版本接口，并且在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的数据湖探索。 数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态 DLI服务在Stream
OpenTSDB是基于HBase分布式的 ，可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息，并可实现数据的秒级查询，解决海量监控类数据在普通数据库中查询存储的局限性，可用于系统监控和测量、物联网数据、金融数据和科学实验结果数据的收集监控。 DLI可以通过增强型跨源连接功
json数据类型的数据，输出到日志文件中。 参考增强型跨源连接，根据Kafka所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通
基于容器化Kubernetes，具有极致的弹性伸缩能力。 无。 免运维 运维成本 即开即用，Serverless架构。 需要较强的技术能力进行搭建、配置、运维。 高可用 具有跨AZ容灾能力。 无 高易用 学习成本 学习成本低，包含10年、上千个项目经验固化的调优参数。同时提供可视化智能调优界面。 学习成本高，需要了解上百个调优参数。
k Jar，并指定主类。 主要参数的填写说明： 所属队列：选择Flink Jar作业运行的队列。 应用程序：自定义的程序包 主类：指定 类名：输入类名并确定类参数列表（参数间用空格分隔）。 其他依赖文件：自定义的依赖文件。选择2和4导入的jks和properties文件。 Flink版本：1
新购买新的队列。 管理队列 不支持切换队列的计费模式。 队列不支持切换区域。 创建队列时（非弹性资源池模式的队列），仅支持包年包月队列和按需专属队列选择跨AZ双活，且跨AZ的队列价格为单AZ模式下的2倍。 DLI队列不支持访问公网。 队列扩缩容 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。
单击“确定”完成安全组规则添加。 创建RDS与DLI的增强型跨源连接。 创建增强型跨源连接具体操作请参考创建增强型跨源连接。 绑定跨源的弹性资源池的网段和数据源网段不能重合。 在DLI管理控制台左侧导航栏中，选择“跨源管理”。 选择“增强型跨源”页签，单击左上角的“创建”按钮。配置参数： 连接名称：dlirds
创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集群，需要通过增强型跨源连接功能将Flink
DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集群，需要通过增强型跨源连接功能将F
11.11）： 参考增强型跨源连接，根据PostgreSQL所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置PostgreSQL的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据PostgreSQL的地址测试队列连通性
DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集群，需要通过增强型跨源连
该示例是从Kafka的一个topic中读取数据，并使用Kafka结果表将数据写入到kafka的另一个topic中。 参考增强型跨源连接，根据Kafka所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组，添加入向规则使其对Flink的队列网
json数据类型的数据，输出到日志文件中。 参考增强型跨源连接，根据Kafka所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通
RDS的MySQL集群和PostGre集群。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联RDS之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。
X版本时，该参数只需要填写index即可。 pushdown CSS的下压功能是否开启，默认为“true”。包含大量IO传输的表在有where过滤条件的情况下能够开启pushdown降低IO。 strict CSS的下压是否是严格的，默认为“false”。精确匹配的场景下比pushdown降低更多IO。 batch
topic数据写入到Kafka sink topic中。 参考增强型跨源连接，根据Kafka所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。
配置DLI读写外部数据源数据的操作流程 DLI执行作业需要读写外部数据源时需要具备两个条件： 打通DLI和外部数据源之间的网络，确保DLI队列与数据源的网络连通。 妥善保存数据源的访问凭证确保数据源认证的安全性，便于DLI安全访问数据源。 本节操作介绍配置DLI读写外部数据源数据操作流程。
security_group_id 是 String 用户指定安全组ID，即为需要建立连接的服务所在的安全组。 network_id 是 String 对应服务的子网网络ID，即为需要建立连接的服务所在的子网。 url 是 String 对应服务对外提供的访问url。长度不能超过512个字符。获取方式请参考表4。
单击需要设置权限的表所在的数据库名，进入该数据库的“表管理”页面。 单击所选表“操作”栏中的“权限管理”，将显示该表对应的权限信息。 单击表权限管理页面右上角的“授权”按钮。 在弹出的“授权”对话框中选择相应的权限。 单击“确定”，完成表权限设置。 父主题： DLI数据库和表类
和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。 设置DWS和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据DWS和Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 连接DWS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
