检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
5 分钟为间隔对行进行分组。滚动窗口可以定义在事件时间(批处理、流处理)或处理时间(流处理)上。 HOP(time_attr, interval, interval) 定义一个跳跃的时间窗口(在 Table API 中称为滑动窗口)。滑动窗口有一个固定的持续时间( 第二个 interval
算子流量根据用户业务实际情况预估。 job_type 否 String 作业类型。 只支持flink_opensource_sql_job类型作业。 graph_type 否 String 流图类型。当前支持以下两种流图类型。 简化流图:simple_graph 静态流图:job_graph
操作请参见《数据湖探索用户指南》中创建队列章节。 确保DLI独享队列与DDS集群建立跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
操作请参见《数据湖探索用户指南》中创建队列章节。 确保DLI独享队列与DDS集群建立跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《数据湖探索用户指南》中修改主机信息章节。 Kafka是线下集群,需要通过增
则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《数据湖探索用户指南》中修改主机信息章节。 Kafka是线下集群,需要通过增
作请参见《数据湖探索用户指南》中创建队列章节。 确保DLI独享队列与MRS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《数据湖探索用户指南》中修改主机信息章节。 Kafka是线下集群,需要通过增
创建输出流 CloudTable HBase输出流 CloudTable OpenTSDB输出流 MRS OpenTSDB输出流 CSS Elasticsearch输出流 DCS输出流 DDS输出流 DIS输出流 DMS输出流 DWS输出流(通过JDBC方式) DWS输出流(通过OBS转储方式)
MRS OpenTSDB输出流 功能描述 DLI将Flink作业的输出数据输出到MRS的OpenTSDB中。 前提条件 确保MRS的集群已经安装了OpenTSDB。 该场景作业需要运行在DLI的独享队列上,因此要与MRS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。
MRS OpenTSDB输出流 功能描述 DLI将Flink作业的输出数据输出到MRS的OpenTSDB中。 前提条件 确保MRS的集群已经安装了OpenTSDB。 该场景作业需要运行在DLI的独享队列上,因此要与MRS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。
则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《数据湖探索用户指南》中修改主机信息章节。 Kafka是线下集群,需要通过增
作请参见《数据湖探索用户指南》中创建队列章节。 确保DLI独享队列与MRS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
创建输出流 CloudTable HBase输出流 CloudTable OpenTSDB输出流 MRS OpenTSDB输出流 CSS Elasticsearch输出流 DCS输出流 DDS输出流 DIS输出流 DMS输出流 DWS输出流(通过JDBC方式) DWS输出流(通过OBS转储方式)
5 分钟为间隔对行进行分组。滚动窗口可以定义在事件时间(批处理、流处理)或处理时间(流处理)上。 HOP(time_attr, interval, interval) 定义一个跳跃的时间窗口(在 Table API 中称为滑动窗口)。滑动窗口有一个固定的持续时间( 第二个 interval
5 分钟为间隔对行进行分组。滚动窗口可以定义在事件时间(批处理、流处理)或处理时间(流处理)上。 HOP(time_attr, interval, interval) 定义一个跳跃的时间窗口(在 Table API 中称为滑动窗口)。滑动窗口有一个固定的持续时间( 第二个 interval
DMS输出流 分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务,向用户提供可靠的全托管式的Kafka消息队列。 DLI支持将作业的输出数据输出到DMS的Kafka实例中。 创建DMS Kafka输出流的语法与创建开源Apache Kafka输出流一样,具体请参见MRS
设置SQL作业优先级 操作场景 在实际作业运行中,由于作业的重要程度以及紧急程度不同,需要重点保障重要和紧急的作业正常运行,因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能,可以对每个SQL设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。
数据源类型,"user_defined"表示数据源为用户自定义数据源。 type_class_name 是 用户实现获取源数据的sink类名称,注意包含完整包路径。 type_class_parameter 是 用户自定义sink类的入参,仅支持一个string类型的参数。 注意事项 用户自定义sink类需要继
注意:只有当用户开启动态扩缩时,该配置才有意义。 flink.dli.job.cu.max 用户CU初始值 该配置表示当前作业在进行动态扩缩时允许使用的最大CU数,如果用户未配置则默认值为该作业的初始总CU数。 注意:该配置值不能小于用户配置的总CU数,且只有当用户开启动态扩缩时,该配置才有意义。