检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
21-08-28'); 注意事项 使用由DLI提供的元数据服务时,不支持本命令。 权限需求 由DLI提供的元数据服务 SQL权限: database table 无 SELECT 细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。
DLI Delta表概述 Delta表是一种基于Delta Lake技术实现的数据存储解决方案,它使用基于文件的事务日志扩展了 Parquet 数据文件,可以处理 ACID 事务和可缩放的元数据。 Delta Lake与Apache Spark API完全兼容,并且其设计能够与结
全地将其包含在URL查询参数名和值中: 字母字符不会被编码。 字符 ., -, * 和 _不会被编码。 ASCII 空格字符会被编码为+ 。 所有其他字符都将转换为UTF-8,并且字节被编码为字符串%XX,其中XX是UTF-8字节的大写十六进制值。 select url_encode('http://www
返回字符串中最左边的长度为 integer 值的字符串。如果 integer 为负,则返回 EMPTY 字符串。如果有任一参数 为 NULL 则返回 NULL。 RIGHT(string, integer) 返回字符串中最右边的长度为 integer 值的字符串。如果 integer 为负,则返回
32 个十六进制数字的字符串形式返回 string 的 MD5 哈希值;如果字符串为 NULL,则返回 NULL。 SHA1(string) 以 40 个十六进制数字的字符串形式返回 string 的 SHA-1 哈希值;如果字符串为 NULL,则返回 NULL。 SHA224(string)
错误码 调用API出错后,将不会返回结果数据。调用方可根据每个API对应的错误码来定位错误原因。 当调用出错时,HTTP 请求返回一个 4xx 或 5xx 的 HTTP 状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时,可以联系企业技术人员,并提供错误码,以便我们尽快帮您解决问题。
但首尾不能含有空格,不能以_sys_开头。 标签值 您可以选择: 在输入框的下拉列表中选择预定义标签值。 在输入框中输入标签值。 说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : +-@ 。 最多支持20个标签。 一个“键”只能添加一个“值”。 每个资源中的键名不能重复。
关系运算符 所有数据类型都可用关系运算符进行比较,并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符,被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 DLI提供的关系运算符,请参见表1。 表1 关系运算符 运算符 返回类型 描述 A = B BOOLEAN
、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。 value 是 String 标签的值。 说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。 响应消息 表4 响应参数 参数名称
这样可以有效地利用存储空间。 数据读写占用的内存空间都是原始数据大小(包括空值也是会占用内存的),2GB在大数据计算过程中,处于单task读写可接受范围之内。 如果是单个Bucket的数据量超过了该值范围,可能会有什么影响? 读写任务可能会出现OOM的问题,解决方法就是提升单个task的内存占比。
on $tablename; // 执行archivelog合并清理元数据文件 关于清理、归档参数的值不宜设置过大,会影响Hudi表的性能,通常建议: hoodie.cleaner.commits.retained = compaction所需要的commit数的2倍
subject 参数来指定。 支持的connector kafka upsert kafka 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 无 String 指定使用格式,此处使用'avro-confluent'。 avro-confluent.basic-auth
Flink作业重启后,如何判断是否可以从checkpoint恢复 什么是从checkpoint恢复? Flink Checkpoint 是一种容错恢复机制。这种机制保证了实时程序运行时,遇到异常或者机器问题时能够进行自我恢复。 从checkpoint恢复的原则 通常当作业执行失败
UNIX格式的时间戳。代表需要转换的时间戳 此处参数应填正常UNIX格式时间戳前十位。 返回值说明 返回STRING类型的日期值,格式为yyyy-mm-dd hh:mi:ss。 unixtime值为NULL时,返回NULL。 示例代码 返回2023-08-16 09:39:57。 select
map2(K, V), ..., mapN(K, V)) 描述:合并多个map,当key值一样时,取最后一个map的value来构造键值对。如下示例中,a就使用了最后一个map的value值10。 select map_concat(map(ARRAY['a','b'],ARRAY[1
LATERAL TABLE(unnest_udtf(tags)) t AS tag; 如果表函数返回了空结果,将会保留相对应的外部行并用空值填充 SELECT users, tag FROM Orders LEFT JOIN LATERAL TABLE(unnest_udtf(tags))
参数seed的格式包括浮点数格式、整数格式、字符串格式。 如果指定种子seed,在相同运行环境下,将会得到一个稳定的随机数序列。 返回值说明 返回DOUBLE类型的值。 示例代码 返回0.3668915240363728。 select rand(); 返回0.25738143505962285。
DLI服务在Stream SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据,如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。 开源生态 通过对等连接建立与其他VPC的网络连接后,用户可以在DLI的租户独享集群中访问所有Flink和Spark支
ignore_nulls 否 BOOLEAN类型,表示是否忽略NULL值。默认值为False。 当参数的值为True时,返回窗口中第一条非NULL的值。 partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。
对指定的字符串执行一个正则表达式搜索,并返回一个BOOLEAN值表示是否找到指定的匹配模式。若找到,则返回TRUE。其中string1表示指定的字符串,string2表示正则表达式 若存在参数为null,则返回null REVERSE(string) STRING 反转字符串,返回字符串值的相反顺序。 若存在参数为null,则返回null