检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
读取CSS上的数据 1 2 jdbcDF = sparkSession.read.format("css").option("resource", resource).option("es.nodes", nodes).load() jdbcDF.show() 操作结果 通过SQL
OBS桶:选择保存作业日志的OBS桶,根据提示进行OBS桶权限授权。 开启Checkpoint:勾选。 Flink作业编辑框中输入具体的作业SQL,本示例作业参考如下。SQL中加粗的参数需要根据实际情况修改。
OBS桶:选择保存作业日志的OBS桶,根据提示进行OBS桶权限授权。 开启Checkpoint:勾选。 Flink作业编辑框中输入具体的作业SQL,本示例作业参考如下。具体加粗的参数需要根据实际情况修改。
es.net.ssl.keystore.location 安全CSS集群的证书,生成的keystore文件在OBS上的地址。 es.net.ssl.keystore.pass 安全CSS集群的证书,生成的keystore文件时的密码。
表格式是一种存储格式,定义了如何把二进制数据映射到表的列上。
示例 从Kafka中读取编码格式为csv,对象为kafkaSource的表。
示例 从Kafka中读取编码格式为csv,对象为kafkaSource的表。
弹性资源池 专属的计算资源,不同弹性资源上的计算资源完全隔离,弹性资源池内的不同队列资源可以共享,并可以根据队列资源负载配置策略进行分时弹性扩缩容,满足不同的业务需求。
Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI Lakehouse表。 使用Hive语法创建OBS表 defalut方言: with 属性中需要设置hive.is-external为true。
中间流仅为逻辑意义上的流,不会产生数据存储。
中间流仅为逻辑意义上的流,不会产生数据存储。
注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
CREATE SINK STREAM buy_infos ( billing_address_city STRING, shipping_address_state string ) WITH ( type = "obs
单击“授权”,授权对象选择“用户授权”,用户名选择需要授权的用户名,勾选对应需要操作的权限。如“查询表”、“插入”等根据需要勾选。 单击“确定”完成权限授权。 授权完成后,再使用已授权的用户登录DLI控制台,查看是否能正常查询到对应表。 父主题: DLI数据库和表类
前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。
CREATE SINK STREAM buy_infos ( billing_address_city STRING, shipping_address_state string ) WITH ( type = "obs
在“运行参数”页签中,“所属队列”选择专享队列,会出现“UDF Jar”参数,在此处选择存放在OBS上的JAR文件,单击“保存”。 在选择自定义函数Jar包之前需要将对应的jar包上传至已创建好的OBS桶中。
在“运行参数”页签中,“所属队列”选择专享队列,会出现“UDF Jar”参数,在此处选择存放在OBS上的JAR文件,单击“保存”。 在选择自定义函数Jar包之前需要将对应的jar包上传至已创建好的OBS桶中。
注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
更新Flink opensource sql作业 jobs updateStreamSqlJob 批量删除Flink作业 jobs deleteStreamJobs 停止Flink作业 jobs stopStreamJobs 提交Flink作业 jobs submitStreamJobs