检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请求示例 { "tags":[ { "key":"key1" }, { "key":"key2", "value":"value2" }
Doris Connector 可以支持通过 Flink 操作(读取、插入、修改、删除) Doris 中存储的数据。 只能对Unique Key模型的表进行修改和删除操作。 表1 支持类别 类别 详情 支持表类型 源表、维表、结果表 父主题: Doris
','num2'],array[11,12]));-- 2 element_at(map(K, V), key) 描述:返回map中key对应值,如果map中不包含这个key,则返回NULL。 select element_at(map(array['num1','num2'],array[11
关于Kafka消息的消息键和消息体请参考消息键(Key)与消息体(Value)的格式。 请参考Format页面以获取更多详细信息和格式参数。 key.format 否 无 String 用来序列化和反序列化 Kafka 消息键(Key)的格式。 如果定义了键格式,则配置项 'key.fields' 也是必需的。
Elasticsearch集群的证书在OBS中的位置。 仅在开启安全模式,且开启https下需要配置该参数。 请先在CSS管理控制台下载证书后将证书上传至OBS,该参数配置的是OBS地址。 例如:obs://bucket/path/CloudSearchService.cer 主键处理 Elasticsearch
catalog.dew.access.key 在DEW服务的凭据中配置access.key值对应的key 是 使用dew方式必填 properties.catalog.dew.secret.key 在DEW服务的凭据中配置secret.key值对应的key 是 使用dew方式必填 1
和格式参数。 key.format 否 无 String 序列化和反序列化Kafka消息的key的格式。 注意: 若配置了该参数,则'key.fields'也需要配置,否则kafka的记录中key会为空。 请参考Format页面以获取更多详细信息和格式参数。 key.fields
"truststore_location": "obs://lan-1/cer/truststore.jks", "keystore_location": "obs://lan-1/cer/keystore.jks" }, { "auth_info_name":
Opensource SQL使用DEW管理访问凭据。 Flink Jar 作业使用固定AKSK访问OBS、Flink Jar 获取委托的临时AKSK、Flink SQL UDF 获取委托的临时AKSK场景。请参考Flink作业委托场景开发指导。 Flink 1.15 Jar 读取用户自定义配置文件的方式相比Flink
使用跨源密码认证时配置为“true”。 table 对应Redis中的Key或Hash Key。 插入redis数据时必填。 查询redis数据时与“keys.pattern”参数二选一。 keys.pattern 使用正则表达式匹配多个Key或Hash Key。该参数仅用于查询时使用。查询redis数据时与“table”参数二选一。
通用队列操作OBS表如何设置AK/SK (推荐)方案1:使用临时AK/SK 建议使用临时AK/SK,获取方式可参见统一身份认证服务_获取临时AK/SK。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 表1
expire-msec:设置key多久过期,参数为long类型字符串,单位为毫秒。 expire-at-date:设置key到某个时间点过期,参数为UTC时间。 expire-at-timestamp:设置key到某个时间点过期,参数为时间戳。 key-ttl 否 无 String key-ttl是
expire-msec:设置key多久过期,参数为long类型字符串,单位为毫秒。 expire-at-date:设置key到某个时间点过期,参数为UTC时间。 expire-at-timestamp:设置key到某个时间点过期,参数为时间戳。 key-ttl 否 无 String key-ttl是
dis,其中key为:${table-name}:${ext-key},field名为列名。 说明: table存储模式:将connector.table-name、connector.key-column作为redis的key。redis的hash类型,每个key对应一个has
UNNEST UNNEST可以将ARRAY或MAP展开成relation。ARRAYS展开为单独一列,MAP展开为两列(key,value)。UNNEST还可以与多个参数一起使用,将被展开成多列,行数与最高基数参数相同(其他列用空填充)。UNNEST可以选择使用WITH ORDI
CATALOG catalog_name WITH (key1=val1, key2=val2, ...) 语法说明 WITH OPTIONS catalog属性一般用于存储关于这个catalog额外的信息。 表达式 key1=val1 中的键和值都是字符串文本常量。 父主题: DDL语法定义
USER_BUCKET_NAME.dew.access.key= USER_AK_CSMS_KEY spark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.secret.key= USER_SK_CSMS_KEY spark.hadoop.fs.obs.security
USER_BUCKET_NAME.dew.access.key=USER_AK_CSMS_KEY flink.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.secret.key=USER_SK_CSMS_KEY flink.hadoop.fs.obs.security
brokers地址,以逗号分隔。 key.format 是 无 String 用于对Kafka消息中key部分序列化和反序列化的格式。key字段由PRIMARY KEY语法指定。支持的格式如下: csv json avro 请参考Format页面以获取更多详细信息和格式参数。 key.fields-prefix
sink可以在initializeState里引入。 图2 获取kafka sink 操作步骤 从Kafka实例的基本信息页面下载SSL证书,解压后将其中的clinet.jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台,打开“数据管理 > 程序包管理”,单击“创建”,创建clinet.jks对应的程序包。