检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
$KYUUBI_HOME/confvi kyuubi-defaults.conf 配置项说明请参考表1。 表1 kyuubi配置参数说明 配置项 说明 是否必选 示例 kyuubi.engine.type JDBC服务类型。这里请指定为dli。 是 jdbc kyuubi.engine.jdbc.type
Enable”为true以查询子目录下的内容,此参数默认值为false(注意,此配置项为表属性,请谨慎配置。Hive表不支持此配置项)。 示例 建OBS表时仅有一个分区列,建表成功后添加分区数据。 先使用DataSource语法创建一个OBS分区表,分区列为external_da
BROADCAST Fragment会在固定数量的节点上执行,输入数据被广播到所有的节点。 SOURCE Fragment在访问输入分段的节点上执行。 示例 LOGICAL: CREATE TABLE testTable (regionkey int, name varchar); EXPLAIN
min,s,ms等,默认为ms。 connector.lookup.max-retries 否 维表配置,数据拉取最大重试次数,默认为3。 示例 RDS表用于与输入流连接。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
fields.#.end 否 无 '#'号指定的字段类型 当“fields.#.kind”字段为:sequence时有效。 序列生成器的结束值。 示例 参考创建Flink OpenSource作业,创建flink opensource sql作业,运行如下作业脚本,通过DataGen表产生随机数据并输出到Print结果表中。
real_cu_number 否 Integer 实际使用的CU数。默认值为“0”,表示此时以“cu_number”的值为准。 请求示例 无 响应示例 { "is_success": "true", "message": "作业列表查询成功", "job_list":
ble, dli:table:delete。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 部分字段更新 create table h0(id int, comb int, name string, price int) using
TIMESTAMP_WITH_LOCAL_TIME_ZONE,和 MULTISET。 Flink的INTERVAL类型还不能映射到Hive INTERVAL类型。 示例 在Flink OpenSource SQL作业中,创建名为myhive的catalog,并使用它用于管理元数据。 CREATE CATALOG
导入”,弹出“导入数据”页面。 图2 SQL编辑器-导入数据 在“导入数据”页面,参见表1填写相关信息。 表1 参数说明 参数名称 描述 示例 数据库 当前表所在的数据库。 - 表名称 当前表名称。 - 队列 选择队列。 - 文件格式 导入数据源的文件格式。导入支持CSV,Par
指定起始消费时间戳,'startup-mode'为'timestamp'时需配置。 connector.properties.* 否 配置kafka任意原生属性。 示例 从Kafka中读取编码格式为csv,对象为kafkaSource的表。 1 2 3 4 5 6 7 8 9 10 11
注意事项 创建RDS关联表时,不需要指定关联表的Schema。DLI会自动获取RDS中对应参数"dbtable"中的表的Schema。 示例 访问MySQL 1 2 3 4 5 6 7 CREATE TABLE IF NOT EXISTS dli_to_rds USING JDBC
real_cu_number 否 Integer 实际使用的CU数。默认值为“0”,表示此时以“cu_number”的值为准。 请求示例 无 响应示例 作业类型为:flink_jar_job,参考响应样例如下: { "is_success": "true", "message":
常(OutofBoundException);如果某个属性的实际数据的长度比属性作为Rowkey时指定的长度要长,则会在读取时进行截断。 示例 1 2 3 4 5 6 7 8 9 CREATE TABLE test_hbase( ATTR1 int, ATTR2 int, ATTR3
schema-registry.url 是 (none) String 注册或抓取schema的Confluent Schema Registry的URL。 示例 1. 从kafka中作为source的topic中读取json数据,并以confluent avro的形式写入作为sink的topic中
reader,比如调整compaction.delta_commits:5和compaction.delta_seconds: 3600压缩参数。 示例 读取Hudi表的数据,并将结果输出到Print中 参考创建Flink OpenSource作业,创建flink opensource s
目前,只在如下情况下支持多个semi/anti join表达式:第一个表中的列在其直接后续的join表达式中被查询,且不与其它join表达式有关系。 示例如下: CREATE SCHEMA testing ; CREATE TABLE table1(id int, name varchar
仅OBS表支持配置该参数。 设置'external.table.purge'='true'时,清除数据的备份目录,默认七天后删除备份数据。 示例 DataSource语法新建test_datasource_lifecycle表,生命周期为100天 1 2 3 CREATE TABLE
map2(K, V), ..., mapN(K, V)) 描述:合并多个map,当key值一样时,取最后一个map的value来构造键值对。如下示例中,a就使用了最后一个map的value值10。 select map_concat(map(ARRAY['a','b'],ARRAY[1
查看队列引擎版本 表2 DLI支持的系统防御规则 规则ID 规则名称 说明 类别 适用引擎 支持的动作 取值说明 系统默认创建规则 SQL语句示例 dynamic_0001 Scan files number 扫描文件数的限制。 dynamic spark HetuEngine 提示
C1,Jar包名J1。 重新打包Jar包为J2,功能逻辑不变。新创建的自定义函数F2,指定类名C1,Jar包名J2。 立即生效 无影响。 示例 创建函数mergeBill。 1 2 CREATE FUNCTION mergeBill AS 'com.xxx.hiveudf.MergeBill'