检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请求时,该IAM用户必须具备调用该接口所需的权限,否则,API请求将调用失败。每个接口所需要的权限,与各个接口所对应的授权项相对应,只有发起请求的用户被授予授权项所对应的策略,该用户才能成功调用该接口。例如,用户要创建队列,那么这个IAM用户被授予的策略中必须包含允许"dli:q
k Opensource SQL使用DEW管理访问凭据 with参数中字段只能使用单引号,不能使用双引号。 若需要使用upsert模式,则必须在DWS结果表和该结果表连接的DWS表都定义主键。 若DWS在不同的schema中存在相同名称的表,则在flink opensource sql中需要指定相应的schema。
数据库。 根因分析 global_temp数据库是Spark3.x默认内置的数据库,是Spark的全局临时视图。 通常在Spark作业执行注册viewManager时,会校验该数据库在metastore是否存在,如果该数据库存在则会导致Spark作业执行失败。 因此当Spark3
作为消费组 ID。 properties.* 否 无 String 设置和传递任意 Kafka 的配置项。 “properties.”中的后缀名必须匹配在Apache Kafka中定义的配置键。 Flink 将移除 "properties." 配置键前缀并将变换后的配置键和值传入底层的
表所有的分区。 生命周期设置后,DLI表和OBS表支持数据备份,OBS表的备份目录需要手工设置。且备份目录应选择在并行文件系统上,备份目录必须和原表目录在同一个桶上,备份目录不能与原表相同目录或者子目录同名。 语法格式 DataSource语法创建DLI表 CREATE TABLE
如果导入时,配置所有分区信息,则表示导入数据到指定分区,导入的数据不能包含分区列的数据; 如果导入时,配置了部分分区信息,而导入的数据必须包含非指定的分区数据,不能包含指定的分区数据,否则数据导入后,非指定的数据分区字段列会存在null值等异常值。 conf 否 Array of
-1L N 查找缓存的最大行数,超过此值,最旧的行将被删除。 如需启用缓存配置则“cache.max-rows”和“cache.ttl”选项都必须指定。 lookup.cache.ttl 10 s N 缓存生存时间。 lookup.max-retries 3 N 查找数据库失败时的最大重试次数。
管理(如创建集群)时,需要使用成对的AK/SK进行加密签名,确保请求的机密性、完整性和请求双方身份的正确性。获取AK/SK操作步骤如下: 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。 在左侧导航栏单击“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。
和 INSERT 类型的 Ogg 消息。 支持的Connector Kafka FileSystem 参数说明 表1 参数说明 参数 是否必须 默认值 类型 描述 format 是 (none) String 指定要使用的格式,此处应为 'ogg-json'。 ogg-json.ignore-parse-errors
如需查看表大小可以通过OBS查看。 CTAS建表语句不能指定表的属性。 关于分区表的使用说明: 创建分区表时,PARTITONED BY中指定分区列必须是不在表中的列,且需要指定数据类型。分区列支持string, boolean, tinyint, smallint, short, int
'fields-scores' ); data-type取值约束: 当data-type为set时,Flink中定义的非主键字段的数据类型必须相同。 当data-type为sorted-set并且schema-syntax为fields和array时,只能读取redis的sorted
image String 自定义镜像。格式为:组织名/镜像名:镜像版本。 queue String 用于指定队列,填写已创建DLI的队列名。必须为通用类型的队列。 说明: 兼容“cluster_name”参数,即如果使用“cluster_name”指定队列仍然有效。 推荐使用“qu
列。 导入数据的编码格式仅支持UTF-8。 数据导出 只支持将DLI表(表类型为“Managed”)中的数据导出到OBS桶中,且导出的路径必须指定到文件夹级别。 导出文件格式为json格式,且文本格式仅支持UTF-8。 支持跨账号导出数据,即B账户对A账户授权后,A账户拥有B账户
'fields-scores' ); data-type取值约束: 当data-type为set时,Flink中定义的非主键字段的数据类型必须相同。 当data-type为sorted-set并且schema-syntax为fields和array时,只能读取redis的sorted
5,1,2,3],3); -- [2, 4, 5, 1, 2] array_sort(x) → array 排序并返回数组x。 x的元素必须是可排序的。 空元素将放置在返回数组的末尾。 select array_sort(array[2,3,4,5,1,2,3]); -- [1
如何获取项目ID? 项目ID是系统所在区域的ID。用户在调用API接口进行云资源管理(如创建集群)时,需要提供项目ID。 查看项目ID步骤如下: 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。例如pr
ql_job”或“flink_opensource_sql_job”。 “run_mode””为“shared_cluster”时作业类型必须为”flink_sql_job“。 edge_group_ids 否 Array of Strings 边缘计算组ID列表, 多个ID以逗号分隔。
在全天的任意一个时间段内,弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。 在全天的任意一个时间段内,弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 弹性资源池创建后,调整最小CU时,最小CU需小于等于弹性资源池当前的CU值,否则会修改失败。 CU设置操作
select_statement 源表上的SELECT查询(支持DLI表、OBS表)。 values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 表必须已经存在。 如果动态分区不需要指定分区,则将“part_spec”作为普通字段放置SELECT语句中。 被插入的OBS表在建表时只能指定文件夹路径。
的数据类型必须是数字,日期或时间戳。 scan.partition.num: 分区数。 scan.partition.lower-bound:第一个分区的最小值。 scan.partition.upper-bound:最后一个分区的最大值。 建表时以上扫描分区参数必须同时存在或者同时不存在。