检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指定排序列,不同列的排序方向可以不一样。 WHERE rownum <= N: Flink 需要 rownum <= N 才能识别一个查询是否为 Top-N 查询。 其中, N 代表最大或最小的 N 条记录会被保留。 [AND conditions]: 在 where 语句中,可
<col2>,<col3>) as (<key1>,<key2>,...,<col1>, <col2>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 num_keys 是 BIGINT类型。 BIGINT类型常量,值必须>=0。在转为多行时作为转置key的列的个数。
schema 中自动推导而得的。 支持的Connector Kafka Upsert Kafka Elasticsearch 参数说明 表1 参数 是否必选 默认值 类型 说明 format 是 (none) String 声明使用的格式,这里应为'json'。 json.fail-on-missing-field
'print-identifier' = '', 'standard-error' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认参数 数据类型 说明 connector 是 无 String 固定为:print。 print-identifier 否 无 String
'print-identifier' = '', 'standard-error' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector 是 无 String 固定为:print。 print-identifier 否 无 String
数据。目前,Avro schema 从表schema 推导。 支持的Connector Kafka Upsert Kafka 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定使用格式,这里应该是'avro'。 avro.codec 否 (none)
文档:Raw Format。 支持的Connector Kafka Upsert Kafka Filesystem 参数说明 表1 参数 是否必选 默认值 类型 描述 format 是 (none) String 指定要使用的格式, 这里应该是 'raw'。 raw.charset
更多具体使用可参考开源社区文档:Avro Format。 支持的Connector Kafka Upsert Kafka FileSystem 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定使用格式,这里应该是'avro'。 avro.codec 否 (none)
SON Format。 支持的Connector Kafka Upsert Kafka Elasticsearch 参数说明 表1 参数 是否必选 默认值 类型 说明 format 是 (none) String 声明使用的格式,这里应为'json'。 json.fail-on-missing-field
创建一个新表orders,使用子句with指定创建表的存储格式、存储位置、以及是否为外表。 通过“auto.purge”参数可以指定涉及到数据移除操作(如DROP、DELETE、INSERT OVERWRITE、TRUNCATE TABLE)时是否清除相关数据: "auto.purge"='true'时,清除元数据和数据文件。
使用HDFS时需要绑定相应的跨源,并填写相应的主机信息。 使用hdfs时,请配置主NameNode的所在节点信息。 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 固定为filesystem。 connector.file-path 是 数据输出目录,格式为:
watermark-strategy_expression) ) with ( 'connector' = 'datagen' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 connector 是 无 String 指定要使用的连接器,这里是'datagen'。 rows-per-second
y_access”。 委托类型:选择“云服务”。 云服务:(“委托类型”选择“云服务”时出现此参数项。)在下拉列表中选择“DLI"。 持续时间:选择“永久”。 描述:非必选,可以填写“拥有OBS OperateAccess权限的委托”。 图2 创建委托 配置完委托的基本信息后,单击“下一步”。
设置两次checkpoint的最小间隔时间 streamEnv.getCheckpointConfig().setMinPauseBetweenCheckpoints(60000); // 设置checkpoint超时时间
sql("CREATE TABLE IF NOT EXISTS dli_to_dws USING JDBC OPTIONS ('url'='jdbc:postgresql://10.0.0.233:8000/postgres','dbtable'='test','user'='dbadmin','password'='**')");
java样例代码 开发说明 本样例只适用于MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
Flink作业概述 DLI支持的两种类型的Flink作业: Flink OpenSource SQL类型作业: 完全兼容社区版的Flink,确保了作业可以在这些Flink版本上无缝运行。 在社区版Flink的基础上,DLI扩展了Connector的支持,新增了Redis、DWS作
schema-registry.subject 参数来指定。 支持的connector kafka upsert kafka 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定使用格式,这里应该是'avro-confluent'。 avro-confluent
4); -- true all_match(array(T), function(T, boolean)) → boolean 描述:返回是否数组的所有元素满足给定的断言函数。如果都满足断言函数或者数组为空时,返回true, 如果有一个或者多个元素不满足断言函数,则返回false
java样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或