检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
multimap_from_entries(array(row(K, V))) -> map(K, array(V)) 描述:根据给定的row数组返回复合map,每个键可以对应多个值。 SELECT multimap_from_entries(ARRAY[(1, 'x'), (2, 'y'), (1, 'z')]);
group by Key order by sum desc查询具体是哪些key引起的数据倾斜。 然后对于倾斜Key单独做处理,加盐让其先将他分为多个task分别统计,最后再对分开统计结果进行结合统计。 例如:如下SQL示例,假设已知倾斜key为'Key01',导致单个task处理大量数据,做如下处理:
后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 Upsert Kafka 始
用户需要自己编写完整代码并进行编译。 用户需要登录集群使用命令进行提交,且需要维护集群。 用户需要在代码里写入checkpoint才能开启。 作业模板 内置多个常见Flink SQL通用场景模板,帮助您快速了解和构建作业代码 暂无 企业安全 访问控制 与华为云IAM权限打通,支持多角色的访问控制 暂无
后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 集群未启用Kerberos认证(普通模式)
参数类型 描述 name 否 String 模板名称。支持根据name进行模糊查询。 tags 否 String 标签名列表。单个标签为k=v,多个标签以“,”分隔。示例tag1=v1,tag2=v2。 offset 否 Long 作业偏移量。 limit 否 Integer 返回的数据条数。默认为“10”。
使用Lakeformation catgalog时必填,对应的Lakeformation catgalog名称。 否 lfcatalog 在“库”页中,单击添加文件,添加1中的huaweicloud-dli-jdbc-xxx-dependencies.jar。 图3 上传驱动 添加后驱动类为空,需要单
BIGINT类型常量,值必须>=0。在转为多行时作为转置key的列的个数。 separator 是 STRING类型。 STRING类型常量,用于将字符串拆分成多个元素的分隔符。为空时返回报错。 keys 是 STRING类型。 转置时作为key的列, 个数由num_keys指定。如果num_keys
buffer-flush.interval 否 刷新时间,默认值为0s,如2s connector.rowkey 否 设置复合rowkey,即根据多个字段设置。 形如:rowkey1:3,rowkey2:3,… 其中3表示取该字段的前3个byte,该值不能大于该字段的字节大小,且该值不能小于1
按照存储在DLI服务中的表数据存储量(单位为“GB”)收取存储费用。 在估算存储费用时,请特别注意,DLI采用压缩存储,通常能压缩到原文件大小的 1/5 。DLI存储按照压缩后的大小计费。 如果数据存储在OBS服务中,则DLI服务不收取存储费用,对应的费用由OBS服务收取。 计费规则
创建CDM迁移作业。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在“作业管理”界面,选择“表/文件迁移”,单击“新建作业”。 在新建作业界面,配置当前作业配置信息,具体参数参考如下: 图7 新建CDM作业作业配置 作业名称:自定义数据迁
后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 创建MRS的ClickHouse集群,集群版本选择MRS
后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 如果需要获取key的值,则可
项目编号,用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 String 待删除定时扩缩计划的队列名称。名称长度为1~128个字符,多个队列名称使用逗号“,”分隔。 请求消息 无请求参数。 响应消息 表2 响应参数 参数 是否必选 参数类型 说明 is_success 否 Boolean
在弹出的“修改模板”对话框中,根据需要修改模板的名称、语句和描述。 单击“确定”,保存修改结果。 删除模板 在“SQL模板”页面,单击“自定义模板”,勾选一个或多个待删除的模板,单击“删除”,可删除选中的模板。 父主题: 创建并管理SQL作业模板
<b>[,...]),concat(string <str1>, string <str2>[,...]) ARRAY或STRING 连接多个字符串,合并为一个字符串,可以接受任意数量的输入字符串。 concat_ws concat_ws(string <separator>, string
"timestamp_format": "yyyy-MM-dd HH:mm:ss" } “date_format”和“timestamp_format”的格式需与导入的csv文件中的时间格式一致。 创建data_location为DLI的表。 { "table_name": "tb2", "data_location":
后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 集群未启用Kerberos认证(普通模式)。
options_list Hudi table属性列表。 表2 CREATE TABLE Options描述 参数 描述 primaryKey 主键名,多个字段用逗号分隔,该字段为必填字段。 type 表类型。'cow' 表示 COPY-ON-WRITE 表,'mor' 表示 MERGE-ON-READ
和值,请先为作业创建标签,具体参见管理作业标签。 在搜索框中继续选择其他标签,可添加不同标签组合搜索。支持最多20个不同标签的组合搜索,且多个不同标签之间为与的关系。 单击搜索按钮,在作业列表中将显示查找到的作业。 父主题: 使用DLI提交Flink作业