检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下拉选择需要使用的数据库。如果没有可用数据库,此处显示“default”默认数据库。数据库创建操作详见在DLI控制台创建数据库和表。 说明: 如果SQL语句中指定了表所在的数据库,则此处选择的数据库无效。 设置 包括设置“参数设置”和“标签”。 参数设置:以“key/value”的形式设置提交SQL
约束限制 如果使用Spark 3.1访问元数据,则必须新建队列。 不支持的场景: 在SQL作业中创建了数据库(database),编写程序代码指定在该数据库下创建表。 例如在DLI的SQL编辑器中的某SQL队列下,创建了数据库testdb。后续通过编写程序代码在testdb下创建表t
分区表还具有以下权限: 添加分区:在分区表中添加新的分区。 删除分区:删除分区表中的任意分区。 设置分区的路径:将分区表中的某个分区路径设置为用户指定的OBS路径。 重命名表分区:对分区表中的分区重新命名。 恢复表分区:从文件系统中导出分区信息保存到元数据中。 显示所有分区:显示分区表中的所有分区。
高级配置”。 在“队列类型”中,勾选了“专属资源模式”后,需要选择“高级选项”。 默认配置:由系统自动配置。 自定义配置: “网段”:支持指定使用的网段范围。如需使用DLI增强型跨源,DLI队列网段与数据源网段不能重合。 建议使用网段: 10.0.0.0~10.255.0.0/8~24
'zookeeper.quorum' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据 说明 connector 是 无 String 指定使用的连接器,需配置为:hbase-2.2。 table-name 是 无 String 连接的HBase表名。 zookeeper.quorum
若不包含默认插件名“decoderbufs”,则需要在创建PostgreSQL CDC源表中配置参数“decoding.plugin.name”,该参数指定PostgreSQL中已有的插件。 语法格式 create table postgresCdcSource ( attr_name attr_type
'zookeeper.quorum' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据 说明 connector 是 无 String 指定使用的连接器,需配置为:hbase-2.2。 table-name 是 无 String 连接的HBase表名。 zookeeper.quorum
format 是 (none) String 用于对Kafka消息中key部分序列化和反序列化的格式。key字段由PRIMARY KEY语法指定。支持的格式如下: csv json avro 请参考Format页面以获取更多详细信息和格式参数。 key.fields-prefix 否
API操作请参考《数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.hbase。 如果选择Spark版本为3.1.1时,无需选择Module模块, 需在
持续拉取数据多长时间超时,单位分钟。当前示例配置为:15。 等待时间 可选参数,超出等待时间还是无法读取到数据,则不再读取数据,单位秒。当前示例不配置该参数。 消费组ID 用户指定消费组ID。当前使用MRS Kafka默认的消息组ID:“example-group1”。 其他参数的详细配置说明可以参考:CDM配置Kafka源端参数。
'zookeeper.quorum' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 connector 是 无 String 指定使用的连接器,固定为:hbase-2.2。 table-name 是 无 String 连接的HBase表名。 zookeeper.quorum
size 否 100L long 可以缓冲的最大输入记录数,以便进行批量查找连接。 lookup.batch 否 false Boolean 指定是否启用批量查找优化。如果启用,用户必须同时设置 lookup.batch.interval 和 lookup.batch.size 选项
ngrams(array(T), n) -> array(array(T)) 描述:返回数组的n元语法(相邻n个元素的子序列)。结果中n元语法的顺序未指定。 SELECT ngrams(ARRAY['foo', 'bar', 'baz', 'foo'], 2); -- [[foo, bar]
'zookeeper.quorum' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 connector 是 无 String 指定使用的连接器,固定为:hbase-2.2。 table-name 是 无 String 连接的HBase表名。 zookeeper.quorum
该参数默认为空,因此没有定义key。 使用形式如:'field1;field2'。 key.fields-prefix 否 无 String 为所有kafka消息键(Key)指定自定义前缀,以避免与消息体(Value)格式字段重名。 value.format 是 无 String 用于反序列化和序列化Kafka消息的值部分的格式。
BS桶,方便后续查看作业日志。 若未在创建Redis结果表的语句中定义Redis key的字段,则会使用生成的uuid作为key。 若需要指定Redis中的key,则需要在flink的Redis结果表中定义主键,该主键的值即为key。 Redis结果表若定义主键,则不能够定义复合
SQL使用DEW管理访问凭据 如果未在创建Redis结果表的语句中定义Redis key的字段,则会使用生成的uuid作为key。 如果需要指定Redis中的key,则需要在flink的Redis结果表中定义主键,该主键的值即为key。 Redis结果表如果定义主键,则不能够定义复