检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/{resource_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 resource_type 是 String 资源类型。 dli_queue:队列 dli_ela
计算配置,建议作业最大并行数为计算单元2倍为宜。 勾选“保存作业日志”,选择一个OBS桶。如果该桶未授权,需要单击“立即授权”进行授权。配置该参数,可以在作业异常失败后,将作业日志保存到用户的OBS桶下,方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”,选择1中创
rce_id}/tags/delete 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 resource_type 是 String 资源类型。 dli_queue:队列 dli_ela
rce-instances/count 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 resource_type 是 String 资源类型。 dli_queue:队列 dli_ela
elastic_resource_pool_name 是 String 弹性资源池名称。 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页的数量。默认为100。
my_source; 写数据至多个Sink表 EXECUTE STATEMENT SET BEGIN ... END; 是写数据至多个Sink表的必填语句,用于定义在同一个作业中执行多个插入数据的操作。 写数据至多个Sink表时,EXECUTE STATEMENT SET BEGIN ... END;是必填项。
REVOKE_PRIVILEGE 移除指定用户弹性资源池权限 √ × √ √ 增强型跨源连接 BIND_QUEUE 增强型跨源连接绑定队列 仅用于跨项目授权。 × × × × 父主题: 权限管理
行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource ( cast_int_to_string
行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource ( cast_int_to_string
password 否 无 String SSL truststore的密码。 avro-confluent.subject 否 无 String 用于在序列化期间此格式使用的注册schema的Confluent Schema Registry主题。默认情况下,'kafka'和'upser
Driver",访问PostGre集群请填写:"org.postgresql.Driver"。 partitionColumn 读取数据时,用于设置并发使用的数值型字段。 说明: “partitionColumn”,“lowerBound”,“upperBound”,“numPar
partition_count = "1", encode = "csv", field_delimiter = "," ); /** 创建数据维表,用于和输入流连接,实现字段回填 * * 根据实际情况修改以下选项: * value_type:redis的键值对应值类型,支持ST
ass_name”和“encode_class_parameter”属性。 filed_delimiter 否 当encode为csv时,用于指定各字段分隔符,默认为逗号。 encode_class_name 否 当encode为user_defined时,需配置该参数,指定用户
sparkSession.sparkContext().addFile("obs://桶名/地址/transport-keystore.jks"); sparkSession.sparkContext().addFile("obs://桶名/地址/truststore.jks");
在“运行参数”页签中,“所属队列”选择专享队列,会出现“UDF Jar”参数,在此处选择存放在OBS上的JAR文件,单击“保存”。 在选择自定义函数Jar包之前需要将对应的jar包上传至已创建好的OBS桶中。 选定JAR包以后,在SQL里添加UDF声明语句,就可以像普通函数一样使用了。具体示例参考如下:
在“运行参数”页签中,“所属队列”选择专享队列,会出现“UDF Jar”参数,在此处选择存放在OBS上的JAR文件,单击“保存”。 在选择自定义函数Jar包之前需要将对应的jar包上传至已创建好的OBS桶中。 选定JAR包以后,在SQL里添加UDF声明语句,就可以像普通函数一样使用了。具体示例参考如下:
提交作业终止时间,单位:秒。 iam.endpoint 否,默认根据regionName自动拼接 - 终端节点,具体区域请参考地区和终端节点。 obs.endpoint 否,默认根据regionName自动拼接 - 终端节点,具体区域请参考地区和终端节点。 directfetchthreshold
partition_count = "1", encode = "csv", field_delimiter = "," ); /** 创建数据维表,用于和输入流连接,实现字段回填 * * 根据实际情况修改以下选项: * value_type:redis的键值对应值类型,支持ST
ass_name”和“encode_class_parameter”属性。 filed_delimiter 否 当encode为csv时,用于指定各字段分隔符,默认为逗号。 encode_class_name 否 当encode为user_defined时,需配置该参数,指定用户
行(也就是11行)都会被聚合。 ROWS BETWEEN 10 PRECEDING AND CURRENT ROW WINDOW:WINDOW 子句可用于在 SELECT 子句之外定义 OVER 窗口。它让查询可读性更好,也允许多个聚合共用一个窗口定义。 示例 查询为每个订单计算前一个小时之内接收到的同一产品所有订单的总金额。