检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka未开启Kerberos认证,仅开启了SSL认证时,创建Kafka_SSL类型的认证。建表时通过ssl_auth_name关联跨源认证。 MRS Kafka未开启Kerberos认证,开启了SASL认证和SSL认证时,创建Kafka_SSL类型的认证。建表时通过ssl_auth_name关联跨源认证。
图2 获取kafka sink 操作步骤 从Kafka实例的基本信息页面下载SSL证书,解压后将其中的clinet.jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台,打开“数据管理 > 程序包管理”,单击“创建”,创建clinet.jks对应的程序包。 主要参数的填写说明:
返回STRING类型。 split1或split2值为NULL时,返回NULL。 str或key值为NULL或没有匹配的key时,返回NULL。 如果有多个Key-Value匹配,返回第一个匹配上的key对应的Value。 示例代码 返回2。 select keyvalue('a:1;b:2'
IllegalArgumentException: Access key cannot be null 问题根因 该Flink SQL作业在配置作业运行参数时,有选择保存作业日志或开启Checkpoint,配置了OBS桶保存作业日志和Checkpoint。但是运行该Flink SQL作业的IAM用户没有OBS写入权限导致该问题。
请确保已上传密钥和证书到指定的OBS路径下,并在作业配置中的其他依赖文件中引入。 表2 Flink作业传输通信加密配置参数 参数 说明 是否必须 配置示例 security.ssl.enabled 打开SSL总开关。 是 true akka.ssl.enabled 打开akka SSL开关。
请参考Format页面以获取更多详细信息和格式参数。 key.fields 否 [] List<String> 定义表中的列作为key的列表,同时需要配置'key.format'。 该参数默认为空,因此没有定义key。 使用形式如:'field1;field2'。 key.fields-prefix 否
List<String> 定义表中的列作为key的列表,同时需要配置'key.format'。 该参数默认为空,因此没有定义key。 使用形式如:'field1;field2'。 key.fields-prefix 否 无 String 为所有Kafka消息键(Key)指定自定义前缀,以避免与消息体(Value)格式字段重名。
示例3:将DMS Kafka作为源表,Print作为结果表(适用于Kafka集群已开启SASL_SSL场景) 创建DMS的kafka集群,开启SASL_SSL,并下载SSL证书,将下载的证书client.jks上传到OBS桶中。 其中,properties.sasl.jaas.con
debezium-avro-confluent.ssl.keystore.password 否 (none) String SSL keystore的密码。 debezium-avro-confluent.ssl.truststore.location 否 (none) String SSL truststore的位置/文件。
encode = "parquet", ak = "{{myAk}}", sk = "{{mySk}}" ); 通过该OBS文件路径创建DLI分区表,在DLI查询car_infos表数据时没有查询到数据。 create table car_infos (
getOrCreate() sparkSession.conf.set("fs.obs.access.key", ak) sparkSession.conf.set("fs.obs.secret.key", sk) sparkSession.conf.set("fs.obs.endpoint"
brokers地址,以逗号分隔。 key.format 是 无 String 用于对Kafka消息中key部分序列化和反序列化的格式。key字段由PRIMARY KEY语法指定。支持的格式如下: csv json avro 请参考Format页面以获取更多详细信息和格式参数。 key.fields-prefix
/opt/data1/hadoop/tmp/usercache/omm/appcache/application_xxx_0015/container_xxx_0015_01_000002/userData/client.truststore.jks @Override public void open(Configuration
getOrCreate() sparkSession.conf.set("fs.obs.access.key", ak) sparkSession.conf.set("fs.obs.secret.key", sk) sparkSession.conf.set("fs.obs.endpoint"
如何获取AK/SK? 访问密钥即AK/SK(Access Key ID/Secret Access Key),表示一组密钥对,用于验证调用API发起请求的访问者身份,与密码的功能相似。用户通过调用API接口进行云资源管理(如创建集群)时,需要使用成对的AK/SK进行加密签名,确保请
brokers地址,以逗号分隔。 key.format 是 (none) String 用于对Kafka消息中key部分序列化和反序列化的格式。key字段由PRIMARY KEY语法指定。支持的格式如下: csv json avro 请参考Format页面以获取更多详细信息和格式参数。 key.fields-prefix
afka_SSL类型的认证。建表时通过ssl_auth_name关联跨源认证。 MRS Kafka未开启Kerberos认证,开启了SASL认证和SSL认证时,创建Kafka_SSL类型的认证。建表时通过ssl_auth_name关联跨源认证。 Kerberos类型跨源认证支持连接的数据源
4或以上集群版本,创建CSS安全集群,并下载安全集群证书(CloudSearchService.cer)。 登录云搜索服务控制台,单击“集群管理”,选择需要建立跨源连接的集群,如图1所示: 图1 CSS集群管理 单击“安全模式”中的“下载证书”下载安全证书。 使用keytool工具生成keystore和truststore文件。
table_properties 格式 无。 说明 表的属性列表,以key=value的形式表示,key为property_name,value为property_value,列表中每组key=value之间用逗号分隔。 父主题: 标示符
= '/mytest','es.net.ssl'='true','es.net.ssl.keystore.location' = 'file://" + esTransportKeystoreLocalPath + "','es.net.ssl.keystore.pass' = '**'