检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PlainLoginModule required username=\"xx\" password=\"xx\";', -- 创建kafka集群时设置的账号和密码 "format" = "json" ); CREATE TABLE ordersSink ( order_id string
PlainLoginModule required username=\"xx\" password=\"xx\";', -- 创建kafka集群时设置的账号和密码 "format" = "json" ); CREATE TABLE ordersSink ( order_id string
认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org.apache.spark</groupId>
志、作业结果等。请参考配置DLI作业桶。 配置元数据的访问权限。请参考在DLI控制台配置数据库权限、在DLI控制台配置表权限。 DLI数据导入指引 DLI支持在不迁移数据的情况下,直接对OBS中存储的数据进行查询分析,您只需要将数据上传OBS即可使用DLI进行数据分析。 上传数据至OBS请参考《对象存储用户指南》。
'pwd_auth_name'= 'xxxxx', --DLI侧创建的Password类型的跨源认证名称。使用跨源认证则无需在作业中配置账号和密码。 "connector.write.flush.max-rows" = "1000", "connector.write.flush
"。 pwd_auth_name 否 无 String DLI侧创建的Password类型的跨源认证名称。 使用跨源认证则无需在作业中配置账号和密码。 key-ttl-mode 否 no-ttl String key-ttl-mode是开启Redis sink TTL的功能参数,
"。 pwd_auth_name 否 无 String DLI侧创建的Password类型的跨源认证名称。 使用跨源认证则无需在作业中配置账号和密码。 key-ttl-mode 否 no-ttl String key-ttl-mode是开启Redis sink TTL的功能参数,
+ length (8) exceed the capacity of the array: 6 A:如果HBase表中的数据是以其他方式导入的话,那么其存储是以String格式存储的,所以使用其他的数据格式将会报该错误。需要将Flink创建HBase源表中非string类型的字段的字段类型重新改为String即可。
+ length (8) exceed the capacity of the array: 6 A:如果HBase表中的数据是以其他方式导入的话,那么其存储是以String格式存储的,所以使用其他的数据格式将会报该错误。需要将Flink创建HBase源表中非string类型的字段的字段类型重新改为String即可。
+ length (8) exceed the capacity of the array: 6 A:如果HBase表中的数据是以其他方式导入的话,那么其存储是以String格式存储的,所以使用其他的数据格式将会报该错误。需要将Flink创建HBase源表中非string类型的字段的字段类型重新改为String即可。
PlainLoginModule required username=\"xx\" password=\"xx\";', -- 创建kafka集群时设置的账号和密码 "format" = "json" ); CREATE TABLE ordersSink ( order_id string
PlainLoginModule required username=\"xx\" password=\"xx\";', -- 创建kafka集群时设置的账号和密码 "format" = "json" ); CREATE TABLE ordersSink ( order_id string
并下载SSL证书,将下载的证书client.jks上传到OBS桶中。 其中,properties.sasl.jaas.config字段包含账号密码,使用DEW进行加密。 示例4:将Kafka(MRS集群)作为源表,Print作为结果表(适用于Kafka已开启SASL_SSL场景,MRS使用Kerberos认证。)
步骤4:编写代码 编写DliCatalogTest程序创建数据库、DLI表和OBS表。 完整的样例请参考Java样例代码,样例代码分段说明如下: 导入依赖的包。 import org.apache.spark.sql.SparkSession; 创建SparkSession会话。 创建S