检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
peline.global-job-parameters中。 key和value之间通过冒号(:)分隔,所有key-value用逗号(,)连接。 如果key或value中含有逗号(,),则需要用双引号(")将key:value整个包围起来。参考k2。 如果key或value中含有
peline.global-job-parameters中。 key和value之间通过冒号(:)分隔,所有key-value用逗号(,)连接。 如果key或value中含有逗号(,),则需要用双引号(")将key:value整个包围起来。参考k2。 如果key或value中含有
Redis、DDS等,需要先创建跨源连接,打通作业运行队列到外部数据源之间的网络。 当前Spark作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通(增强型跨源连接)。 创建完跨源连接后,可以通过“资源管理 > 队列管理
SDK的获取与安装请参考SDK获取与安装。 使用SDK工具访问DLI,需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端,具体操作请参考初始化DLI客户端 Python SDK列表 表1 Python
Redis、DDS等,需要先创建跨源连接,打通作业运行队列到外部数据源之间的网络。 当前Flink作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通(增强型跨源连接)。 创建完跨源连接后,可以通过“资源管理 > 队列管理
SDK的获取与安装请参考SDK的获取与安装。 使用SDK工具访问DLI,需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端,具体操作请参考初始化DLI客户端 Java SDK列表 表1 Java SDK列表
Flink SQL 系统中。在许多情况下,这对于利用此功能很有用。 例如: 将数据库中的增量数据同步到其他系统 审计日志 数据库的实时物化视图 临时连接更改数据库表的历史等等。 Flink 还支持将 Flink SQL 中的 INSERT/UPDATE/DELETE 消息编码为 Maxwell
kafkaSource, lateral table(string_split(target, separator)) as T(item); 连接Kafka集群,向Kafka的topic中发送如下测试数据: {"target":"test-flink","separator":"-"}
kafkaSource, lateral table(string_split(target, separator)) as T(item); 连接Kafka集群,向Kafka的topic中发送如下测试数据: {"target":"test-flink","separator":"-"}
SQL作业,访问其他外部数据源时,需要先创建跨源连接,打通作业运行队列到外部数据源之间的网络。 当前Flink作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通(增强型跨源连接)。 创建完跨源连接后,可以通过“资源管理 > 队列管理
array<T> <b>[,...]),concat(string <str1>, string <str2>[,...]) ARRAY或STRING 连接多个字符串,合并为一个字符串,可以接受任意数量的输入字符串。 concat_ws concat_ws(string <separator>
Pattern 兼容。 元数据 元数据可以在 DDL 中作为只读(虚拟)meta 列声明。 Format的元数据只有在相应的连接器使用元数据时才可用。目前,只有Kafka连接器。 表2 元数据 Key 数据类型 说明 database STRING NULL 源数据库。对应于Canal记录中的database字段(如果可用)。
timestamp), cast(case_timestamp_to_date as date) from kafkaSource; 连接Kafka集群,向Kafka的topic中发送如下测试数据: {"cast_int_to_string":"1", "cast_String_to_int":
…] ); TBLPROPERTIES允许用户通过键值对的方式(属性名和属性都必须是单引号或双引号包裹的字符串),添加或修改连接器支持的表属性,以Hive连接器为例: TBLPROPERTIES ("transactional"="true") ,可能的取值为[true,false]
PARTITIONS [catalog_name.][db_name.]table_name [PARTITION (partitionSpecs)]; 描述 这个表达式用于列出指定的的所有分区。 示例 SHOW PARTITIONS test PARTITION(hr = '12'
在DLI控制台,选择“作业管理”>“SQL作业”。 在SQL作业管理页面,输入对应的job id,找到对应的作业。 在“操作”列中,单击“更多”>“归档日志”>“下载日志到本地”。 图3 归档日志 在所下载的日志中搜索对应jobId,即可查看具体的执行日志。 父主题: SQL作业开发类
timestamp), cast(case_timestamp_to_date as date) from kafkaSource; 连接Kafka集群,向Kafka的topic中发送如下测试数据: {"cast_int_to_string":"1", "cast_String_to_int":
LAST_VALUE(expression) 返回一组有序值中的最后一个值。 LISTAGG(expression [, separator]) 连接字符串表达式的值并在它们之间放置分隔符值。字符串末尾不添加分隔符时则分隔符的默认值为“,”。 父主题: 内置函数
LOG.info("Params: " + params.toString()); // Kafka连接地址 String bootstrapServers; // Kafka消费组 String
hive_sync.jdbcurl 连接hive jdbc指定的连接。 "" hoodie.datasource.hive_sync.use_jdbc 是否使用Hive jdbc方式连接Hive同步Hudi表信息。建议该值设置为false,设置为false后jdbc连接相关配置无效。 true