正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集群,需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。
value.fields-include 否 ALL 枚举类型 可选值:[ALL, EXCEPT_KEY] 在解析消息体时,是否要包含消息键字段。 取值如下: ALL(默认值):所有定义的字段都存放消息体(Value)解析出来的数据。
Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集群,需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。
Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集群,需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。
约束与限制 您能创建的资源的数量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见《如何申请扩大配额》。 更详细的限制请参见具体API的说明。 父主题: API使用前必读
可在服务授权中进行设置。 发布区域:全部 创建增强型跨源连接 OBS 2.0支持DLI自定义委托 跨源分析场景,DLI需具备访问其他云服务的委托权限,即允许DLI在其他云服务中代表用户或服务执行操作,才能够在执行作业时读写数据、执行特定操作。
导出DLI表数据至OBS中 支持将数据从DLI表中导出到OBS服务中,导出操作将在OBS服务新建文件夹,或覆盖已有文件夹中的内容。 注意事项 支持导出json格式的文件,且文本格式仅支持UTF-8。
Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 详情请参见区域和可用区。
Java SDK Java SDK概述 Java SDK环境配置 OBS授权 队列相关 资源相关 SQL作业相关 Flink作业相关 Spark作业相关 Flink作业模板相关
执行如下命令安装DLI服务Python SDK,安装过程中会自动下载第三方依赖库。 python setup.py install 运行结果参见图2所示。
SQL作业相关 数据库相关 表相关 作业相关 父主题: Python SDK
Python SDK Python SDK概述 Python SDK环境配置 队列相关 资源相关 SQL作业相关 Spark作业相关
project_id}/streaming/jobs/{job_id}/execute-graph 查询Flink作业监控信息 getFlinkJobsMetrics - POST /v1.0/{project_id}/streaming/jobs/metrics 查询Flink作业APIG网关服务访问地址
Java SDK环境配置 Java开发环境配置 SDK的获取与安装 初始化DLI客户端 父主题: Java SDK
创建维表 创建Redis表 创建RDS表 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
自拓展生态 自拓展输入流 自拓展输出流 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
DDL语法定义 CREATE TABLE语句 CREATE VIEW语句 CREATE FUNCTION语句 父主题: 语法定义
数据定义语句DDL 创建源表 创建结果表 创建维表 父主题: Flink Opensource SQL1.10语法参考
创建源表 Kafka源表 DIS源表 JDBC源表 DWS源表 Redis源表 Hbase源表 userDefined源表 父主题: 数据定义语句DDL
创建结果表 ClickHouse结果表 Kafka结果表 Upsert Kafka结果表 DIS结果表 JDBC结果表 DWS结果表 Redis结果表 SMN结果表 Hbase结果表 Elasticsearch结果表 OpenTSDB结果表 userDefined结果表 Print