检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka开启Kerberos认证,同时开启了SSL认证时,需要同时创建Kerberos和Kafka_SSL类型的认证。建表时分别通过krb_auth_name和ssl_auth_name关联跨源认证。 MRS Kafka未开启Kerberos认证,仅开启了SASL认证时(例如使用账号密码认
connector.properties.group.id 否 消费组名称 connector.startup-mode 否 consumer启动模式,支持:'earliest-offset', 'latest-offset', 'group-offsets', 'specific-of
的延迟时间,每到达一个迟到数据,则更新窗口的输出结果 注意事项 若使用insert语句将结果写入sink中,则sink需要支持upsert模式。 语法格式 TUMBLE(time_attr, window_interval, period_interval, lateness_interval)
日期函数概览 DLI所支持的日期函数如表1所示。 表1 日期/时间函数 函数 命令格式 返回值 功能简介 add_months add_months(string start_date, int num_months) STRING 返回start_date在num_months个月之后的date。
B)。 A LIKE B [ ESCAPE C ] BOOLEAN 若A与模式B匹配,则返回TRUE。 必要时可以定义转义字符C。 A NOT LIKE B [ ESCAPE C ] BOOLEAN 若A与模式B不匹配,则返回TRUE。 必要时可以定义转义字符C。 A SIMILAR
B)。 A LIKE B [ ESCAPE C ] BOOLEAN 若A与模式B匹配,则返回TRUE。 必要时可以定义转义字符C。 A NOT LIKE B [ ESCAPE C ] BOOLEAN 若A与模式B不匹配,则返回TRUE。 必要时可以定义转义字符C。 A SIMILAR
DLI系统提供了用于执行跨源作业的依赖模块,各个不同的服务对应的模块列表如下: CloudTable/MRS HBase: sys.datasource.hbase CloudTable/MRS OpenTSDB: sys.datasource.opentsdb RDS MySQL: sys
"Timeout expired while fetching topic metadata" ,说明Flink作业在尝试获取Kafka主题的元数据时超时了。 此时您需要先检查Flink作业和Kafka的网络连通性,确保执行Flink作业所在的队列可以访问Kafka所在的VPC网络。 若果网络不
恢复”。 checkpoint间隔设置需在输出文件实时性、文件大小和恢复时长之间进行权衡,比如10分钟。 checkpoint支持如下两种模式: AtLeastOnce:事件至少被处理一次。 ExactlyOnce:事件仅被处理一次。 使用文件系统输出流写入数据到OBS时,应避免多个作业写同一个目录的情况。
PARTITION:分区。 参数说明 表1 参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name Database中的表名,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。
关键字 CHANGE COLUMN:修改列 COMMENT:列描述。 参数说明 表1 参数描述 参数 是否必选 描述 db_name 否 Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name 是 表名称。 col_name 是
Elasticsearch,DCS,DDS,DIS,DMS,DWS,EdgeHub,MRS HBase,MRS Kafka,开源Kafka,文件系统,OBS,RDS,SMN 表1 数据格式和支持的输入输出流 数据格式 支持的输入流 支持的输出流 Avro - OBS输出流 Avro_merge - OBS输出流
说明: aarch64架构计算资源使用华为鲲鹏系列服务器。 resource_mode 否 Integer 队列资源模式。支持以下两种类型: 0:共享资源模式 1:专属资源模式 labels 否 Array of Strings 创建队列的标签信息,目前包括队列是否跨AZ的标签信息(J
BY 要高。 ROLLUP与CUBE按一定的规则产生多种分组,然后按各种分组统计数据。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。 Rollup生成的结果集显示了所选列中值的某一层次结构的聚合。 语法格式 SELECT [ ALL | DISTINCT ] { * |
BY 要高。 ROLLUP与CUBE按一定的规则产生多种分组,然后按各种分组统计数据。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。 Rollup生成的结果集显示了所选列中值的某一层次结构的聚合。 语法格式 SELECT [ ALL | DISTINCT ] { * |
BY 要高。 ROLLUP与CUBE按一定的规则产生多种分组,然后按各种分组统计数据。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。 Rollup生成的结果集显示了所选列中值的某一层次结构的聚合。 语法格式 SELECT [ ALL | DISTINCT ] { * |
SQL连接开启SASL_SSL认证的Kafka,请参考Flink SQL语法参考-Kafka源表。 环境准备 已在DLI控制台购买了通用队列。 已购买了Kafka实例,并开启了SASL_SSL认证。 已在DLI创建增强型跨源并绑定队列,确保DLI队列和Kafka连通。 操作须知 连接带SASL_SSL的Kafka,
deploy-mode 否 standalone String Redis集群的部署模式,支持standalone、master-replica、cluster。默认为standalone。 Redis实例类型不同配置的部署模式不同: 单机、主备、proxy集群实例都选择standalone, cluster实例选择cluster。
s/{database_name}/tables/{table_name}/partitions 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name
SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询制定资源包、删除资源包的Python SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关的Python SDK使用说明。 Spark作业相关 介绍提交Spark作业、取消Spark作业、删除Spark作业等Python