检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
query; 参数描述 表1 INSERT INTO参数 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。 tbl_path
管理Flink作业模板 Flink模板包括样例模板和自定义模板。用户可以在已有的样例模板中进行修改,来实现实际的作业逻辑需求,节约编辑SQL语句的时间。也可以根据自己的习惯和方法自定义作业模板,方便后续可以直接调用或修改。 Flink模板管理主要包括如下功能: Flink SQL样例模板
格式字符定义详见表3。导入CSV及JSON类型数据时可指定。 bad_records_path 否 String 作业执行过程中的bad records存储目录。设置该配置项后,bad records不会导入到目标表。 timestamp_format 否 String 指定特定
COLUMN 计算列是一个使用 “column_name AS computed_column_expression” 语法生成的虚拟列。它由使用同一表中其他列的非查询表达式生成,并且不会在表中进行物理存储。例如,一个计算列可以使用 cost AS price * quantity 进行定义
CU数量=实际CU数量=max[管理单元和TaskManager的CPU总和,(管理单元和TaskManager的内存总和/4)] 管理单元和TaskManager的CPU总和=实际TM数 * 单TM所占CU数 + 管理单元。 管理单元和TaskManager的内存总和= 实际TM数
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格,不能以_sys_开头。 values 是 Array of strings 值列表。 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格。
redis认证密码。 namespace 否 无 String redis key的namespace。 例如设置该值为"person",假设key为"jack"则redis中会是"person:jack"。 delimiter 否 : String redis的key和namespace之间的分隔符。
在跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息,为您解决数据安全、密钥安全、密钥管理复杂等问题。具体操作请参考使用DEW管理数据源访问凭证。 约束和限制 表1 增强型跨源连接约束限制
OVER 功能描述 窗口函数与OVER语句一起使用。OVER语句用于对数据进行分组,并对组内元素进行排序。窗口函数用于给组内的值生成序号。 语法格式 1 2 3 4 5 SELECT window_func(args) OVER ([PARTITION BY col_name
d1/jobs/submit-job {endpoint}信息请从地区和终端节点获取。 创建数据库db1 { "queue_name": "queue1", "sql": "create DATABASE db1" } 创建表tb1 { "currentdb": "db1"
创建OBS表。 该命令不会删除当前版本数据。 示例 删除dliTable表在2021-09-25 23:59:59之前生成的多版本数据(多版本生成时会自带一个生成时间时的时间戳)。 clear history for table dliTable older_than '2021-09-25
已有表但是查询不到时,大概率是因为当前登录的用户没有对该表的查询和操作权限。 解决措施 联系创建该表的用户,让该用户给需要操作该表的其他用户赋予查询和操作的权限。赋权操作如下: 使用创建表的用户账号登录到DLI管理控制台,选择“数据管理 > 库表管理”。 单击对应的数据库名称,进入到表管理界面。在对应表的“
参考增强型跨源连接,在DLI上根据ClickHouse和Kafka集群所在的虚拟私有云和子网分别创建跨源连接,并绑定所要使用的Flink作业队列。 设置ClickHouse和Kafka集群安全组的入向规则,使其对当前将要使用的Flink作业队列网段放通。参考测试地址连通性根据ClickHouse和Kafka的地址测
from [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path` [ WHERE boolExpression] 参数描述 表1 DELETE参数 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。
Spark异步任务执行表compaction参数设置规范 写作业未停止情况下,禁止手动执行run schedule命令生成compaction计划。 错误示例: run schedule on dsrTable 如果还有别的任务在写这张表,执行该操作会导致数据丢失。 执行run
须不存在,如请求样例中的“test”文件夹。 data_type 是 String 导出数据的类型,目前API支持csv和json格式数据。 database_name 是 String 被导出数据的表所在的数据库名称。 table_name 是 String 被导出数据的表名称。
删除角色 功能描述 在当前database或指定database中删除角色。 语法格式 1 DROP ROLE [db_name].role_name; 关键字 无。 注意事项 要删除的role_name必须在当前database或指定database中存在,否则会报错。 当未
username 否 访问ClickHouse数据库的账号。 connector.password 否 访问ClickHouse数据库账号的密码。 connector.write.flush.max-rows 否 写数据时刷新数据的最大行数,默认值为:5000。 connector
缺点:数据写入的时候,需要复制一个先前的副本再在其基础上生成新的数据文件,这个过程比较耗时。且由于耗时,读请求读取到的数据相对就会滞后。 Merge On Read 读时合并表也简称MOR表,使用列格式parquet和行格式Avro两种方式混合存储数据。其中parquet格式文
例如:jar包冲突),有时日志不会写到OBS桶中 DLI Flink作业提交或运行失败时,对应生成的作业日志保存方式,包含以下三种情况: 提交失败,只会在submit-client下生成提交日志。 运行失败且在1分钟内的日志,可以直接在管理控制台页面查看,具体如下: 在“作业管理